请问 mysql 数据实时复制到 postgresql 里面如何实现最好呀

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3442 天前的主题，其中的信息可能已经有所发展或是发生改变。

mysql 只读权限
postgresql 可写可读

mysql里面有个表
字段如下：
orderID<int>,itemID<int>，info<text>,lastUpdate<datetime>
其中lastUpdate是这个记录的最后修改时间
每个记录有可能随时被修改，随即这个记录的lastUpdate会更新

postgresql字段如下：
orderID<int>,itemID<int>，info<jsonb>,lastUpdate<datetime>

postgresql 和mysql 字段都对应，只是字段类型有些不同，比如info这个字段，在mysql里面字段类型是text，而在postgresql里面字段类型是jsonb

现在想让postgresql保持和mysql数据一致
当mysql里面变化，也要让postgresql里面变化，可接受的延迟是10秒左右

请问大家，有什么好的方案吗

有现成的轮子吗？如果没有的话用python来写，这个东东的大概思路该如何弄呢多谢

第 1 条附言 · 2015-07-03 14:13:01 +08:00

结贴

谢谢大家

字段

postgresql

lastupdate

22 条回复 • 2018-11-22 17:40:17 +08:00

qq2549112

2015-07-01 18:22:58 +08:00

求大神指点一二

hging

2015-07-01 18:35:31 +08:00

...mysql只读为什么会有变化.

qq2549112

2015-07-01 18:53:52 +08:00

@hging 我的帐号是只读权限没有给我写的权限，其他业务有写的权限

choury

2015-07-01 19:00:20 +08:00

你可以看下mysql的主从复制协议，然后接收mysql的binlog，然后自己解析……不过我感觉这个工作量有点大，你看有没有人干过这事吧

Septembers

2015-07-01 20:34:01 +08:00

see https://stackoverflow.com/a/20146661

gamexg

2015-07-01 20:38:20 +08:00 via Android

有 lastUpdate 字段，可接受10秒延时，直接定时获取最近更新的不就完了？

jiaojing

2015-07-01 20:46:02 +08:00

就是个etl吧
看看Kettle之类的行不行

cevincheung

2015-07-01 21:02:08 +08:00

postgresql有dblink

rming

2015-07-01 21:54:44 +08:00

@xiaotianhu CC

qq2549112

2015-07-01 22:01:03 +08:00

@choury 谢谢，mysql 我只有只读权限所以无法在上面安装 binlog

qq2549112

2015-07-01 22:02:25 +08:00

@Septembers 谢谢 SymmetricDS 好像不太适合我，这个东西好复杂，我想让我的数据每隔1-10秒，postgresql 就和mysql保持一次更新同步，保证2个数据库里面的信息一致

qq2549112

2015-07-01 22:02:47 +08:00

@gamexg 简单的说就是这个意思，就是我太菜了，不知道如何实现细节

qq2549112

2015-07-01 22:03:00 +08:00

@jiaojing 不是etl 谢谢

qq2549112

2015-07-01 22:03:22 +08:00

@cevincheung dblink 我用的rds 无法安装软件谢谢哦

Septembers

2015-07-01 22:28:21 +08:00

@qq2549112
必须要解决"数据发现"的问题

被动发现比较难实现实时一致
而且会给主数据库带来一定的负担

除非主动发现、思路如下：
可以考虑向上司申请建立个从库
然后写个工具分析从库的binlog提取数据到PostgreSQL

（另外从库还可以作为主库的备份，存在

qq2549112

2015-07-01 22:48:11 +08:00

@Septembers 非常感谢您的回答

我分别用的阿里云的 mysql rds 和 postgresql rds

mysql rds 是别人提供给了我一个 [只读权限] 的帐号密码
postgresql rds 是我自己购买的

之前我自己写过一个python脚本，5秒同步一次 [首次很慢，因为要拉取历史数据，之后5秒一次没有问题]
目前不用担心给主数据库带来负担，并且数据量并不是特别大，
所以不用担心给mysql rds [主数据库] 增加负担

关于您说的binlog，因为是rds，所以binlog这个方案实现起来似乎有点麻烦

所以可能我还是得用以前的方法

用python 去 mysql [发现数据] 然后再插入到新的postgresql里面

然后每隔几秒就去 [发现] 一次