欢迎来到彩票365下载官方端口_彩票365老版本下载_彩票365手机版官方网站! 联系我们 网站地图

彩票365下载官方端口_彩票365老版本下载_彩票365手机版官方网站

0379-65557469

彩票365下载官方端口
全国服务热线
0379-65557469

电话: 0379-65557469
0379-63930906
0379-63900388 
0379-63253525   
传真: 0379-65557469
地址:洛阳市洛龙区开元大道219号2幢1-2522、2501、2502、2503、2504、2505室 

彩票365下载官方端口

彩票365下载官方端口-运用canal经过mysql的binlog日志对mysql进行监控(同步服务)

作者:admin 发布时间:2019-11-02 19:50:02 浏览次数:232
打印 收藏 关闭
字体【
视力保护色

一、环境介绍

canal是阿里开源的中间件,首要用于同步mysql数据库改变。详细拜见:https://github.com/alibaba/canal/releases

树立环境:

vmware centos7 布置mysql和canal

windows开发canal client,主动捕获mysql数据库改变

二、Centos装置Mysql

1、尝试用yum装置mysql

wget http://repo.mysql.com/mysql57-community-release-el7-10.noarch.rpm
sudo rpm -Uvh mysql57-community-release-el7-10.noarch.rpm
sudo yum install -y mysql-community-server

假如履行顺畅,装置mysql server 成功。

2.改用阿里源装置

但是官方的yum源在国内拜访作用欠安,我下载mysql server的速度太慢了,决议改用阿里源

#下载wget
yum install wget -y
#备份当时的yum源
mv /etc/yum.repos.d /etc/yum.repos.d.backup4comex
#新建空的yum源设置目录
mkdir /etc/yum.repos.d
#下载阿里云的yum源装备
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#最终重建缓存
yum clean all
yum makecache

3.装置MariaDB

MariaDB数据库办理体系是MySQL的一个分支,首要由开源社区在保护,选用GPL授权答应。开发这个分支的原因之一是:甲骨文公司收买了MySQL后,有将MySQL闭源的潜在危险,因而社区选用分支的方法来避开这个危险。MariaDB的意图是彻底兼容MySQL,包含API和指令行,使之能轻松成为MySQL的代替品。

装置mariadb,巨细59 M。

[root@yl-web yl]# yum install mariadb-server mariadb

其它几条常用的mariadb指令:

systemctl start mariadb #发动MariaDB

systemctl stop mariadb #中止MariaDB

systemctl restart mariadb #重启MariaDB

systemctl enable mariadb #设置开机发动

运转systemctl start mariadb,然后就可以正常运用mysql了

4.设置数据库暗码:

set password for 'root'@'localhost' =password('root');

5.遇到的几彩票365下载官方端口-运用canal经过mysql的binlog日志对mysql进行监控(同步服务)个问题

①从windows拜访centos mysql失利

解决方案:设置mysql答应长途衔接

mysql -u root;
//赋予任何主机拜访数据的权限
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;
//使修正收效
mysql>FLUSH PRIVILEGES;

②进行上述操作之后,发现依然衔接失利,回来过错

Can't connect to MySQL server on '10.168.12.43' (10060)

解决方案:从windows衔接vmware里边的mysql失利,封闭w彩票365下载官方端口-运用canal经过mysql的binlog日志对mysql进行监控(同步服务)indows防火墙后成功。

三、布置canal server

(参阅:https://github.com/alibaba/canal/wiki/QuickStart)

1.下载canal server

https://github.com/alibaba/canal/releases

我下载的是canal.exaple-1.0.24.gar.gz,下载完成后解压缩:

mkdir /tmp/canal
tar zxvf canal.deployer-1.0.24.tar.gz -C /tmp/canal

2.检查binlog相关数据库指令:

是否启用了日志
mysql>show variables like 'log_bin';
怎样知道当时的日志
mysql> show master status;
检查mysql binlog形式
show variables like 'binlog_format';
获取binlog文件列表
show binary logs;
检查当时正在写入的binlog文件
show master status\G
检查指定binlog文件的内容
show binlog events in 'mysql-bin.000002';

3.敞开binlog

假如log_bin封闭,需要在etc下面找到my.cnf,敞开binlog:

server-id=1
log-bin=/var/lib/mysql/mysql-bin

然后重启mysql服务。

4.增加canal mysql数据库账号

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

5.装备canal实例,设置本地数据库信息

vi conf/example/insta洗车店加盟nce.properties

## mysql serverId
canal.instance.mysql.slaveId = 1234
# position info
canal.instance.master.address = 10.168.12.43:3306
canal.instance.master.journal.name =mysql-bin.000003
canal.instance.master.position =
canal.instance.master.timestamp =
……
canal.instance.dbUsername = canal
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =testcanal
canal.instance.connectionCharset = UTF-8
# table regex
canal.instance.filter.regex = .*\\..*

6.发动canal

sh bin/startup.sh

7.检查日志

vi logs/canal/canal.log
vi logs/example/example.log

四、canal lient demo

1.引进pom依靠


com.alibaba.otter
canal.client
1.0.24

2.客户端代码

public class ClientTest {
public static void main(String args[]) {
// 创立链接
CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("10.168.12.43",
11111), "example", "", "");
int batchSize = 1000;
int emptyCount = 0;
try {
connector.connect();
connector.subscribe(".*\\..*");
connector.rollback();
int totalEmptyCount = 120;
while (emptyCount < totalEmptyCount) {
Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
long batchId = message.getId();
int size = message.getEntries().size();
if (batchId == -1 || size == 0) {
emptyCount++;
System.out.println("empty count : " + emptyCount);
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
}
} else {
emptyCount = 0;
printEntry(message.getEntries());
}
connector.ack(batchId); // 提交承认
}
System.out.println("empty too many times, exit");
} finally {
connector.disconnect();
}
}
private static void printEntry(List entrys) {
for (Entry entry : entrys) {
if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
continue;
}
RowChange rowChage = null;
try {
rowChage = RowChange.parseFrom(entry.getStoreValue());
} catch (Exception e) {
throw new RuntimeException("ERROR ## parser of eromanga-event has 彩票365下载官方端口-运用canal经过mysql的binlog日志对mysql进行监控(同步服务)an彩票365下载官方端口-运用canal经过mysql的binlog日志对mysql进行监控(同步服务) error , data:" + entry.toString(),
e);
}
EventType eventType = rowChage.getEventType();
System.out.彩票365下载官方端口-运用canal经过mysql的binlog日志对mysql进行监控(同步服务)println(String.format("================> binlog[%s:%s] , name[%s,%s] , eventType : %s",
entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
eventType));
for (RowData rowData : rowChage.getRowDatasList()) {
if (eventType == EventType.DELETE) {
printColumn(rowData.getBeforeColumnsList());
} else if (eventType == EventType.INSERT) {
printColumn(rowData.getAfterColumnsList());
} else {
System.out.println("-------> before");
printColumn(rowData.getBeforeColumnsList());
System.out.println("-------> 彩票365下载官方端口-运用canal经过mysql的binlog日志对mysql进行监控(同步服务)after");
printColumn(rowData.getAfterColumnsList());
}
}
}
}
private static void printColumn(List columns) {
for (Column column : columns) {
System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());
}
}
}

3.树立数据库衔接,进行insert,delete等数据库操作

五、遇到的问题

1.canal树立衔接失利

解决方案:用telnet指令测验树立衔接依然失利,封闭linux防火墙。

systemctl stop firewalld.service

其他centos7防火墙相关指令:

firewall-cmd --list-ports#检查现已敞开的端口:

firewall-cmd --reload #重启firewall

systemctl stop firewalld.service #中止firewall

systemctl disable firewalld.service #制止firewall开机发动

firewall-cmd --state #检查默许防火墙状况(封闭后显现notrunning,敞开后显现running)

版权所有:洛阳市建设工程咨询有限责任公司 联系人:李经理 电话: 地址:洛阳市洛龙区开元大道219号2幢1-2522、2501、2502、2503、2504、2505室
版权所有 彩票365下载官方端口 豫ICP备162428518号-7