使用datax举行mysql的表规复

DataX


DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
Features


DataX自己作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源范例的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
工具部署

• 方法一、直接下载DataX工具包：DataX下载地址
  下载后解压至当地某个目录，进入bin目录，即可运行同步作业：
  
  1. $ cd  {YOUR_DATAX_HOME}/bin
  2. $ python datax.py {YOUR_JOB.json}

  复制代码

自检脚本：    python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json

• 配置一个从Mysql数据库同步抽取数据到当地的作业:
  

1. {
2.     "job": {
3.         "setting": {
4.             "speed": {
5.                  "channel": 3
6.             },
7.             "errorLimit": {
8.                 "record": 0,
9.                 "percentage": 0.02
10.             }
11.         },
12.         "content": [
13.             {
14.                 "reader": {
15.                     "name": "mysqlreader",
16.                     "parameter": {
17.                         "username": "root",
18.                         "password": "root",
19.                         "column": [
20.                             "id",
21.                             "name"
22.                         ],
23.                         "splitPk": "db_id",
24.                         "connection": [
25.                             {
26.                                 "table": [
27.                                     "table"
28.                                 ],
29.                                 "jdbcUrl": [
30.      "jdbc:mysql://127.0.0.1:3306/database"
31.                                 ]
32.                             }
33.                         ]
34.                     }
35.                 },
36.                "writer": {
37.                     "name": "streamwriter",
38.                     "parameter": {
39.                         "print":true
40.                     }
41.                 }
42.             }
43.         ]
44.     }
45. }

复制代码

MySQL Reader需要替换的参数说明如下：

参数名称	说明
username	MySQL 连接用户名。
password	MySQL 连接用户密码。
querySql	查询SQL，用于确定需要同步的数据范围。
jdbcUrl	JDBC连接信息。

 
启动DataX

1. $ cd {YOUR_DATAX_DIR_BIN}
2. $ python datax.py ./stream2stream.json

复制代码

同步竣事，显示日志如下：

1. ...
2. 2015-12-17 11:20:25.263 [job-0] INFO  JobContainer -
3. 任务启动时刻                    : 2015-12-17 11:20:15
4. 任务结束时刻                    : 2015-12-17 11:20:25
5. 任务总计耗时                    :                 10s
6. 任务平均流量                    :              205B/s
7. 记录写入速度                    :              5rec/s
8. 读出记录总数                    :                  50
9. 读写失败总数                    :                   0

复制代码

 
参考文档：
使用DataX同步MySQL数据到表格存储_表格存储(Tablestore)-阿里云帮助中心
https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md
DataX/mysqlwriter/doc/mysqlwriter.md at master · alibaba/DataX · GitHub
DataX/userGuid.md at master · alibaba/DataX · GitHub
DataX/introduction.md at master · alibaba/DataX · GitHub