GoWind CDC（川汇·数据管道）
GoWind CDC 是 GoWind 生态的「数据粘合剂」：面向 B 端交付场景的轻量级数据同步与迁移管道，一站解决老旧系统数据「搬家」、跨系统实时对接与数据合规脱敏三大痛点。
与 Canal / Debezium / DataX 的根本差异：纯 Go、无 JVM、无 Kafka 强依赖——单进程承载 CDC 引擎与管理台，交付现场不再额外架设中间件集群，一台服务器即可落地。
版本说明
数据捕获、字段映射、脱敏、数据对账、告警通知、结构变更同步、双向同步等核心能力已完整落地并通过端到端验收（当前版本 1.2.0）；产品处于快速迭代阶段，能力持续增强。
三个交付现场故事：GoWind CDC 如何工作
故事一：老库搬家。 某工厂的 ERP 跑在一台十年前的 SQL Server 上，领导要求迁到新平台但不能停业务。用 GoWind CDC：先用全量快照把存量数据搬过去，紧接着增量追平把迁移期间产生的每一笔变更同步过去——源库继续跑业务，直到某天凌晨数据完全对齐、一次切换完成。旧系统下线了，没有人加过班。
故事二：实时对接。 电商订单库和数仓之间原来靠每晚跑批，报表永远慢一天。用 GoWind CDC 建实时同步管道：订单一落库，几秒内就出现在数仓里；中途目标库宕机？断点续传把数据缓存到本地，恢复后自动追上——一条不丢。某天源库加了张新表，运行中动态加表直接热挂载，管道不停。
故事三：合规出域。 开发团队要一份生产库副本做测试，但手机号、身份证不能带出去。用 GoWind CDC 的数据脱敏管道：手机号自动掩码、证件号加星、需要关联比对的字段用确定性算法替换——数据到了开发环境依然可用，但已经不再是真实个人信息。合规检查顺利通过。
核心亮点
- 纯 Go 内核，数据源全矩阵：源端支持 MySQL Binlog（GTID 续传）、PostgreSQL WAL、SQL Server（触发器/时间戳模板 + MS CDC 日志级）、Oracle（LogMiner）、MongoDB（Change Stream）；目标端覆盖 MySQL / PostgreSQL / Kafka / ClickHouse / Elasticsearch / Redis——主流组合全覆盖
- 单机轻量落地：无 JVM、无 Kafka 强依赖，core 单进程即引擎即管理服务；政企机房里常见的"只有一台 Windows 服务器"场景也能跑
- 断点续传不丢数：本地持久化队列 + 磁盘流式缓冲，目标端长时间宕机内存也不膨胀，恢复后自动追平
- 结构变更跟着走：源库加列/改列/删列，DDL 同步自动跟随并保持幂等，历史可查
- 双向同步防回环：A↔B 两库互为热备时自动打防回环标记，数据不空转
- 增量对账与一键修复：全量基线 + 增量水位 + 抽样校验三级对账，差异清单块级定位，一键点对点修复，一致性报表 CSV 导出
- 一键脱敏，支持国密：手机号掩码、证件加星、哈希替换、日期偏移、区间替换、SM3 国密摘要等 10 种算法，数据出域自动合规（商业版能力）
- 企业级管控内建：角色权限、操作审计、多租户、中英双语界面开箱即用，满足政企私有化交付的合规与管控要求
- 告警送到人：同步延迟、积压、断连经飞书/钉钉/企业微信/邮件精准推送，投递台账逐条可查、失败一键重发
功能全景
1. 数据捕获与源适配
| 功能 | 说明 |
|---|---|
| 多源实时捕获 | MySQL Binlog（支持 GTID，主从切换位点不丢）、PostgreSQL WAL 原生监听 |
| 老旧库适配模板 | SQL Server 触发器/时间戳模板/MS CDC 日志级三模式、Oracle LogMiner、MongoDB 模板化接入 |
| 影子表一键安装 | _cdc_log 影子表 + I/U/D 触发器安装脚本自动生成 |
| 通配订阅 | 按库/表前缀订阅，新表周期性自动发现 |
| 三种同步模式 | 实时同步、全量快照、全量+增量，按场景灵活选择；全量快照支持分块限速，低峰执行降低源库压力 |
| 断点续传 | 四类同步位点持久化，本地磁盘缓冲流式读写，目标端长宕机不丢不涨 |
| 分库分表合并 | 多个分片源合并写入一张目标大表 |
2. 转换与写入
| 功能 | 说明 |
|---|---|
| 无代码字段映射 | 拖拽式连线完成字段对齐与类型转换 |
| 结构自动迁移 | 目标表自动创建，源字段类型自动映射目标方言；目标缺列自动加列，免手工对齐 |
| 行级过滤与表达式 | 简单表达式过滤行、字段级轻量计算 |
| 动态数据脱敏（商业版） | 掩码/哈希/日期偏移/区间替换/SM3 国密等 10 种算法，支持条件规则 |
| DDL 同步 | 源库加列/改名等结构变更自动跟随，幂等执行，历史可查 |
| 双向同步 | A↔B 互备场景防回环标记，数据不空转 |
| 缓存刷新形态 | Redis 目标端按 Key 模板刷新缓存，自动过期 |
| Kafka 事务写入 | 目标端 Kafka 支持事务 Exactly-once，消息不重不丢 |
3. 运行与运维
| 功能 | 说明 |
|---|---|
| 运行中动态加表 | 管道不停机热挂载新表，业务无感扩围 |
| 表级补拍快照 | 某张表漏数/修数后按表补拍，不用重跑整条管道 |
| 管道运行租约 | 多实例部署时租约抢占防双写，失约自动停管 |
| 独立采集节点 | 跨网段部署：采集端只采集、不持有目标库凭证，本地缓冲断点续传，版本自动上报供巡检 |
| 数据总览看板 | 任务状态、吞吐、延迟、积压一屏总览，自动刷新，常用页面快捷入口 |
| 管道详情与指标 | 延迟（P50/P95）、积压、写入事件与表级指标、快照进度实时可视 |
| 任务编排 | 全部 6 种状态（草稿/启动中/运行中/已暂停/异常/已停止）全程可视可控 |
4. 数据对账（商业版）
| 功能 | 说明 |
|---|---|
| 全量基线比对 | 分块比对行数 + 校验和，方言无关 |
| 增量水位校验 | 按水位列增量比对，首跑即全量基线 |
| 抽样校验 | 按比例确定性抽样，日常巡检低成本 |
| 差异定位与修复 | 差异块级定位、行级明细（source_only / target_only / changed），一键点对点修复 |
| 修复目标扩展 | Elasticsearch、ClickHouse 等异构目标端语义化修复 |
| 一致性报表 | 比对结果 CSV 导出，交付验收有据可依 |
5. 告警与生态整合
| 功能 | 说明 |
|---|---|
| 告警规则 | 全局 + 任务级规则，延迟/积压/断连多指标阈值 |
| 多渠道投递 | 飞书、钉钉、企业微信机器人与 SMTP 邮件 |
| GoWind IM 联动 | 经 IM 机器人将精确错误信息推送至 IT 运维 |
| 投递台账 | 每次分发成败可查，失败一键重发 |
| Agent 智能脚本（商业版） | 自然语言描述清洗需求，自动生成 ETL 规则（与 GoWind Agent 融合） |
界面预览
总览与数据源
| 数据总览 | 数据源管理 |
|---|---|
 |  |
同步与对账
| 同步任务 | 数据对账 |
|---|---|
 |  |
告警与通知
| 告警记录 | 通知渠道 |
|---|---|
 |  |
适用场景
- 老旧系统数据搬家：SQL Server / Oracle 老库向 PostgreSQL/MySQL 现代栈迁移，全量 + 增量一体化，业务不停机
- 跨系统实时对接：业务库变更秒级同步数仓/报表库/检索库/缓存，替代夜间跑批 T+1
- 数据库容灾互备：双向同步 + 防回环，两地库互为热备；增量对账持续校验两边一致
- 数据合规出域：生产数据脱敏后流向开发测试环境与 BI 大屏，支持国密 SM3
- 政企 B 端交付：无需架设 JVM/Kafka 集群，单机即可落地，交付成本与运维面显著降低
交付与部署
GoWind CDC 提供私有化部署交付，与 GoWind 家族产品同栈同源，可独立使用，也可与 GoWind IM、GoWind Ops 组成数据链路 + 告警触达 + 运维保障的组合方案。安装部署文档随交付提供，欢迎通过下方联系方式咨询试用与部署服务。
联系我们
欢迎通过微信联系 yang_lin_bo（备注 CDC - 公司 - 姓名）， 或发邮件至 yanglinbo@gmail.com， 交流产品试用、私有化部署与定制开发等相关问题。