配置MySQL CDC Binlog

#mysql #cdc

概述

CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC，ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。

本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。

约束与限制

若MySQL数据库为主从模式，不支持使用MySQL从库。
不支持采集二进制类型的字段，例如：TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB。
不支持采集DATETIME(6)字段。

操作步骤

建议由数据库管理员进行CDC功能的配置操作，以下配置以Linux环境为例进行说明。

开启Binlog。
1. 使用命令行工具连接到MySQL数据库所在服务器，执行以下命令以root用户登录数据库。
  mysql -uroot -p password
  其中，password为数据库root用户的密码，可向数据库管理员获取。
2. 执行以下命令，查询MySQL数据库是否开启了Binlog。
  show variables like 'log_bin';
  - 若变量log_bin的值为“OFF”，则说明Binlog未开启，继续执行下一步。
  - 若变量log_bin的值为“ON”，则说明Binlog已开启，继续执行以下SQL命令，检查相关参数的配置是否符合要求。
    show variables like '%binlog_format%';
    show variables like '%binlog_row_image%';
    变量binlog_format的值应该为“ROW”，变量binlog_row_image的值应该为“FULL”。如果满足要求，直接跳到2，否则继续执行下一步。
3. 执行以下命令退出数据库。
  exit;
4. 执行以下命令编辑MySQL配置文件，然后按“i”进入输入模式。
  vim /etc/my.cnf
5. 在配置文件中增加如下配置，开启Binlog。
```
 server-id = **123**
 log_bin = mysql-bin
 binlog_format = row
 binlog_row_image = full
 expire_logs_days = **10**
 gtid_mode = on
 enforce_gtid_consistency = on
```
  其中：
  - server-id的值应为大于1的整数，请根据实际规划设置，并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。
  - expire_logs_days为Binlog日志文件保留时间，超过保留时间的Binlog日志会被自动删除，应保留至少2天的日志文件。对于MySQL 8.0及以上版本，需设置binlog_expire_logs_seconds值，例如：binlog_expire_logs_seconds = 86400。(expire_logs_days在MySQL 8.0及以上版本优先级低于binlog_expire_logs_seconds)。
  - “gtid_mode = on”和“enforce_gtid_consistency = on”仅当MySQL的版本大于等于5.6.5时才需要添加，否则删除这两行内容。
6. 按“Esc”退出输入模式，然后输入“:wq”并回车，保存退出。
7. 执行以下命令重启MySQL数据库。
  service mysqld restart
8. 以root用户登录数据库，执行以下命令，查询变量log_bin的值是否为“ON”，即是否已开启Binlog。
  show variables like 'log_bin';
9. （可选）：当创建MySQL CDC任务Schema映射时，MySQL数据库需要先开启配置项：binlog_rows_query_log_events =1；可在如上第5步骤中配置。
在数据库中执行以下命令创建ROMA Connect连接数据库的用户并配置权限。
```
CREATE USER 'flink'@'%' IDENTIFIED BY 'password';
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'flink'@'%';
```
其中：
- flink为ROMA Connect连接用户名，请根据实际规划设置。
- password为ROMA Connect连接用户密码，请根据实际规划设置。
（可选）如果MySQL数据库版本为8.0，则需要执行以下命令，修改数据库连接用户的密码认证方式。
ALTER USER flink IDENTIFIED WITH mysql_native_password BY 'password';
其中：
- flink为2中创建的数据库连接用户名。
- password为数据库连接用户的密码。
执行以下命令退出数据库连接。
exit;