CloudCanal 6.1：KingbaseES 分区表迁移不再慢到让人怀疑人生

预计阅读时间：8 分钟

做国产数据库迁移的同学大概都有过这样的体验：一张几千万行的分区表，迁移工具跑起来要么直接卡死，要么速度像在用拨号上网。CloudCanal 6.1.0.0 把 KingbaseES（人大金仓）分区表的迁移性能问题狠狠修了一刀，值得关注。

分区表迁移为什么容易翻车

KingbaseES 基于 PostgreSQL 内核，分区表本质上是一组继承父表约束的子表。迁移工具如果只看到父表、忽略子表，数据就漏了；如果逐个子表串行搬运，大表迁移时间直接拉到不可接受。更麻烦的是，分区表的 DDL 结构嵌套层级深——父表定义、分区键、子表约束、索引分布——稍有不慎就结构错位。

CloudCanal 6.1 的改进方向很明确：并行搬运子分区 + 结构一次性对齐。不再把分区表当普通表逐行灌数据，而是识别分区拓扑后按子表维度并行写入，同时保证父表-子表继承关系在目标端完整还原。

60+ 数据源互通，国产库覆盖到位

CloudCanal 免费社区版支持的功能链条比较完整：

结构迁移：表、索引、约束、分区定义一键搬运
数据迁移：全量断点续传，大表并行分片
数据同步：增量 CDC，源端日志解析实时推送
数据校验：行数 + 内容双向比对，差异自动定位
数据订正：校验发现不一致后可直接修补，不用重新全量

数据源覆盖 60+ 种，关系型数据库、实时数仓、消息队列、缓存、搜索引擎都在列。国产数据库方面，OceanBase、PolarDB、TiDB、StarRocks、Doris、KingbaseES 等均已支持，这对信创改造场景很关键。

实操：从 KingbaseES 分区表迁移到 PostgreSQL

下面用一个最小可复现的例子，演示 KingbaseES 分区表迁移的关键步骤。假设你已经在本地跑起来了 CloudCanal 社区版。

1. 快速部署 CloudCanal 社区版

# 拉取社区版部署脚本
curl -Ls https://download.clougence.com/cloudcanal/community/install.sh -o install.sh

# 执行安装（需要 Docker 环境）
chmod +x install.sh && ./install.sh

# 安装完成后访问控制台
# 默认地址: http://localhost:8111
# 默认账号: admin / 密码在安装日志中查看

如果没有 Docker，先装一个：curl -fsSL https://get.docker.com | sh

2. 源端：KingbaseES 分区表建表语句

KingbaseES 的分区表语法与 PostgreSQL 高度一致。先在源端准备一张按范围分区的订单表：

-- KingbaseES 源端
CREATE TABLE orders (
    id         BIGINT        NOT NULL,
    order_date DATE          NOT NULL,
    amount     NUMERIC(12,2),
    status     VARCHAR(20)
) PARTITION BY RANGE (order_date);

-- 创建子分区
CREATE TABLE orders_2024_q1 PARTITION OF orders
    FOR VALUES FROM ('2024-01-01') TO ('2024-04-01');
CREATE TABLE orders_2024_q2 PARTITION OF orders
    FOR VALUES FROM ('2024-04-01') TO ('2024-07-01');
CREATE TABLE orders_2024_q3 PARTITION OF orders
    FOR VALUES FROM ('2024-07-01') TO ('2024-10-01');
CREATE TABLE orders_2024_q4 PARTITION OF orders
    FOR VALUES FROM ('2024-10-01') TO ('2025-01-01');

-- 灌入测试数据（每个分区 50 万行）
INSERT INTO orders (id, order_date, amount, status)
SELECT
    generate_series(1, 500000),
    '2024-01-15'::date + (random() * 89)::int,
    (random() * 10000)::numeric(12,2),
    CASE WHEN random() < 0.3 THEN 'cancelled' ELSE 'completed' END
FROM generate_series(1, 500000);
-- 对 q2/q3/q4 重复类似 INSERT，调整日期范围即可

3. 在 CloudCanal 控制台创建迁移任务

通过控制台操作路径：创建任务 → 结构迁移 + 数据迁移 → 选择源端 KingbaseES / 目标端 PostgreSQL → 选择 orders 表 → 启动任务。

如果想用 CLI 批量操作，CloudCanal 提供了 REST API：

# 示例：通过 API 创建迁移任务（需先在控制台获取 token）
export CC_HOST="http://localhost:8111"
export CC_TOKEN="your-api-token-here"

# 创建数据源连接（KingbaseES 源端）
curl -s -X POST "${CC_HOST}/api/v1/data_source/create" \
  -H "Authorization: Bearer ${CC_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "kingbasees_source",
    "type": "KingbaseES",
    "host": "192.168.1.100",
    "port": 54321,
    "username": "system",
    "password": "your_password",
    "database": "test_db"
  }'

# 创建数据源连接（PostgreSQL 目标端）
curl -s -X POST "${CC_HOST}/api/v1/data_source/create" \
  -H "Authorization: Bearer ${CC_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "pg_target",
    "type": "PostgreSQL",
    "host": "192.168.1.200",
    "port": 5432,
    "username": "postgres",
    "password": "your_password",
    "database": "target_db"
  }'

4. 迁移后目标端验证

-- PostgreSQL 目标端：验证分区结构是否完整还原
SELECT
    parent.relname AS parent_table,
    child.relname  AS partition_name
FROM pg_inherits i
JOIN pg_class parent ON i.inhparent = parent.oid
JOIN pg_class child  ON i.inhrelid  = child.oid
WHERE parent.relname = 'orders';

-- 验证各分区行数
SELECT count(*) FROM orders_2024_q1;
SELECT count(*) FROM orders_2024_q2;
SELECT count(*) FROM orders_2024_q3;
SELECT count(*) FROM orders_2024_q4;

-- 全表行数应与源端一致
SELECT count(*) FROM orders;

如果分区名和行数都对齐，说明结构迁移 + 数据迁移都没翻车。

选型和使用建议

场景	建议
KingbaseES → PostgreSQL 信创替换	优先用 6.1，分区表并行迁移效率明显提升
多源异构实时同步（如 MySQL → StarRocks → Doris）	社区版 CDC 同步够用，生产环境关注延迟监控
大表全量迁移 + 增量接续	先跑全量，全量结束后自动切增量，断点续传防中断丢数据
数据校验发现不一致	用内置订正功能定点修复，避免重新全量

几个实操注意点：

KingbaseES 端 CDC 配置：增量同步依赖源端逻辑解码（类似 PostgreSQL 的 wal2json），确保 kingbase.conf 中 wal_level = logical 已开启。
分区表数量上限：一张表超过几百个子分区时，并行度要合理设置，避免目标端写入压力过大导致锁等待。
网络带宽敏感场景：CloudCanal 支持数据压缩传输，大表迁移时在任务配置里开启压缩选项。
免费版边界：社区版覆盖核心功能，但集群高可用、部分高级校验策略需要商业版。小团队和验证阶段社区版完全够用。

分区表迁移性能这个痛点，CloudCanal 6.1 确实给了个可用的答案。如果你正在做 KingbaseES 的信创迁移项目，值得花半小时部署社区版跑一轮实测——数据不会骗人。