SQL Server 数据库迁移到 PostgreSQL 或者其它云原生 OLAP 库有哪些比较好的方案

6 min read

SQL Server 上

  1. 数千张表、TB 级数据;
  2. 一次性全量迁移;
  3. 字段类型尽可能兼容;

想请教大家迁移到 PostgreSQL ，有什么比较好的方案推荐的。

发散一下，分成两个步骤：

  1. 从 SQL Server 转换建表 DDL 为目标数据库格式、导出数据为通用格式（ JSON 、Parquet...）；
  2. 导入数据到目标数据库上目标表。

主要想讨论和请教的是从 SQL Server 这类传统数仓迁移到比较新的各种云上数仓有什么好的、成熟一点的方案参考。
针对你的情况，以下是一些可行的方案：

1.使用开源ETL工具，例如Talend，Pentaho等，将SQL Server数据提取到目标格式（JSON，CSV等），然后使用PostgreSQL的COPY命令将数据导入PostgreSQL。

2.使用商业ETL工具，例如Informatica，DataStage等，将SQL Server数据提取到目标格式，然后使用PostgreSQL的COPY命令将数据导入PostgreSQL。这种方式可能会更加稳定和高效，但可能需要更高的成本。

3.使用开源或商业数据迁移工具，例如AWS Database Migration Service，Azure Database Migration Service，Google Cloud's Database Migration Service等。这些工具提供了一个简单的界面来配置数据迁移，并可以处理数据类型转换，主键和外键的映射等问题。

4.手动编写转换脚本或使用现有的工具，例如Full Convert，SQLines Data等，将SQL Server数据转换为PostgreSQL格式，并将数据插入PostgreSQL表中。

需要注意的是，迁移过程中需要注意数据类型兼容性，如日期、时间戳、字符串等，在转换时需要确保数据类型的正确性。此外，你还需要考虑如何处理SQL Server中存在的特殊功能，例如存储过程、视图和触发器等。最后，还需要测试迁移过程和结果，以确保数据的完整性和一致性。