MyCat,Cobar,分布式数据库分片（MySQL高可用中间件）

大纲 

第一 MYCAT 背景

第二 MYCAT 发展

第三 MYCAT 简介

第四 MYCAT特性

第五 MYCAT安装使用

第六 MYCAT和COBAR 比较

第七 参考

一，背景

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：

（1）集中式处理，势必造成性能瓶颈；

（2）应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高；

（3）集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。

在这种形势下，集中式数据库将向分布式数据库发展。

二，发展

MyCAT的诞生，要从其前身Amoeba和Cobar说起。

Amoeba（变形虫）项目，该开源框架于2008年开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发。座落与 Client、DB Server(s)之间，对客户端透明。具有负载均衡、高可用性、SQL过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。 通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多企业的生产线上面使用。

阿里巴巴于2012年6月19日，正式对外开源的数据库中间件Cobar，前身是早已经开源的Amoeba，不过其作者陈思儒离职去盛大之后，阿里巴巴内部考虑到Amoeba的稳定性、性能和功能支持，以及其他因素，重新设立了一个项目组并且更换名称为Cobar。Cobar 是由 Alibaba 开源的 MySQL 分布式处理中间件，它可以在分布式的环境下看上去像传统数据库一样提供海量数据服务。

Cobar自诞生之日起， 就受到广大程序员的追捧，但是自2013年后，几乎没有后续更新。在此情况下，MyCAT应运而生，它基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能，以及众多成熟的使用案例使得MyCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，MyCAT能看到更远。目前MyCAT的最新发布版本为1.3.0.2版本。

三， MYCAT简介

MyCAT是mysql中间件，前身是阿里大名鼎鼎的Cobar，Cobar在开源了一段时间后，不了了之。于是MyCAT扛起了这面大旗，在大数据时代，其重要性愈发彰显。

Mycat 被描述和定义如下：

1 一个彻底开源的，面向企业应用开发的大数据库集群

2 支持事务、ACID、可以替代MySQL的加强版数据库

3 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群

4 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

5 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

6 一个新颖的数据库中间件产品

 四，Mycat关键特性 

支持SQL92标准

1 遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。

2 基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。

3 支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster

4 基于Nio实现，有效管理线程，高并发问题。

5 支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。

6 支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。

7 支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。

8 支持多租户方案。

9 支持分布式事务（弱xa）。

10 支持全局序列号，解决分布式下的主键生成问题。

11 分片规则丰富，插件化开发，易于扩展。

12 强大的web，命令行监控。

13 支持前端作为mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。

14 支持密码加密

15 支持服务降级

16 支持IP白名单

17 支持SQL黑名单、sql注入攻击拦截

18 支持分表（1.6）

19 集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

 

五，安装使用

A 测试环境：

有3张表 users,item,item_detail (item 的子表) 和 3 个数据库 db01,db02,db03

表 users 存储在数据库 db01, 表 item 和 item_detail 分布存储在数据 db01 和 db02 

现在在3个数据库都创建相同的表

sql

create database db01;  

create database db02;  

create database db03;  

CREATE TABLE users (  

   id INT NOT NULL AUTO_INCREMENT,  

   name varchar(50) NOT NULL default '',  

    indate DATETIME NOT NULL default '0000-00-00 00:00:00',  

    PRIMARY KEY (id)  

)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  

CREATE TABLE item (  

   id INT NOT NULL AUTO_INCREMENT,  

    value INT NOT NULL default 0,  

    indate DATETIME NOT NULL default '0000-00-00 00:00:00',  

    PRIMARY KEY (id)  

)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  

CREATE TABLE item_detail (  

    id INT NOT NULL AUTO_INCREMENT,  

    value INT NOT NULL default 0,  

    name varchar(50) NOT NULL default '',  

    item_id INT NOT NULL,  

   PRIMARY KEY (id),  

    key (item_id)  

)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  

 B JDK 安装配置

不在此安装演示

C Mycat 安装配置

1. cd /usr/local/src  
2. tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz   
3. mv /usr/local/src/mycat /usr/local/  
4.   
5. groupadd mycat  
6. useradd -g mycat mycat  
7. passwd mycat  
8. chown -R mycat.mycat /usr/local/mycat  

添加环境变量

1. vi /etc/profile  
2. vi ~/.bash_profile  
3.   
4. export MYCAT_HOME=/usr/local/mycat  

设置生效（最好重启系统）

1. source /etc/profile  
2. source ~/.bash_profile  

D 服务器名和IP绑定

1. vi /etc/hosts  
2. 192.168.100.50  server1  
3. 127.0.0.1       server1  

设置 wrapper.java.command 的java 路径

 ( 同时可设置 -Xmx 和 -Xms ，参考：mycat 启动失败 The specified size exceeds the maximum representable size)

1. vi /usr/local/mycat/conf/wrapper.conf  
2.   
3. wrapper.java.command=%JAVA_HOME%/bin/java  

配置 server.xml 和 schema.xml  (本案例配置信息在文章底部)

1. vi /usr/local/mycat/conf/server.xml  
2. vi /usr/local/mycat/conf/schema.xml  

启动mycat服务 ./mycat { console | start | stop | restart | status | dump }

1. /usr/local/mycat/bin/mycat console  
2. #mycat 进程  
3. ps -ef | grep mycat  
4.   
5. #日子信息  
6. tail -20 /usr/local/mycat/logs/wrapper.log  

E  测试

访问 mycat   (凭据参考 /usr/local/mycat/conf/server.xml)

1. mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB  
2. mysql> show databases;  
3. +----------+  
4. | DATABASE |  
5. +----------+  
6. | TESTDB   |   
7. +----------+  
8.   
9. mysql> show tables;  
10. +------------------+  
11. | Tables in TESTDB |  
12. +------------------+  
13. | item             |   
14. | item_detail      |   
15. | users            |   
16. +------------------+  

在 mycat 中插入数据并查询：

1. insert into users(name,indate) values('kk',now());  
2. insert into item(id,value,indate) values(1,100,now());  
3. insert into item_detail(value,name,item_id) values('pad',40,1);  
4. insert into item_detail(value,name,item_id) values('phone',50,1);  
5.   
6. insert into item(id,value,indate) values(999,100,now());  
7. insert into item_detail(value,name,item_id) values('pad',40,999);  
8. insert into item_detail(value,name,item_id) values('phone',50,999);  

1. mysql> select * from users;  
2. +----+------+---------------------+  
3. | id | name | indate              |  
4. +----+------+---------------------+  
5. |  1 | kk   | 2016-04-13 06:28:00 |   
6. +----+------+---------------------+  
7.   
8. mysql> select * from item;  
9. +-----+-------+---------------------+  
10. | id  | value | indate              |  
11. +-----+-------+---------------------+  
12. | 999 |   100 | 2016-04-13 06:34:12 |   
13. |   1 |   100 | 2016-04-13 06:32:58 |   
14. +-----+-------+---------------------+  
15.   
16. mysql> select * from item_detail;  
17. +----+-------+------+---------+  
18. | id | value | name | item_id |  
19. +----+-------+------+---------+  
20. |  1 |     0 | 40   |     999 |   
21. |  2 |     0 | 50   |     999 |   
22. |  1 |     0 | 40   |       1 |   
23. |  2 |     0 | 50   |       1 |   
24. +----+-------+------+---------+  

打开另一个终端，使用mysql账号登陆访问查看表情况

1. mysql -uroot -ptest -p  

具体的表数据存储情况：

1. -----------------------------------------  
2. mysql> select * from db01.users;  
3. +----+------+---------------------+  
4. | id | name | indate              |  
5. +----+------+---------------------+  
6. |  1 | kk   | 2016-04-13 06:28:00 |   
7. +----+------+---------------------+  
8.   
9. mysql> select * from db02.users;  
10.   
11. mysql> select * from db03.users;  
12.   
13. -----------------------------------------  
14.   
15. mysql> select * from db01.item;  
16.   
17. mysql> select * from db02.item;  
18. +-----+-------+---------------------+  
19. | id  | value | indate              |  
20. +-----+-------+---------------------+  
21. | 999 |   100 | 2016-04-13 06:34:12 |   
22. +-----+-------+---------------------+  
23.   
24. mysql> select * from db03.item;  
25. +----+-------+---------------------+  
26. | id | value | indate              |  
27. +----+-------+---------------------+  
28. |  1 |   100 | 2016-04-13 06:32:58 |   
29. +----+-------+---------------------+  
30.   
31. -----------------------------------------  
32.   
33. mysql> select * from db01.item_detail;  
34.   
35. mysql> select * from db02.item_detail;  
36. +----+-------+------+---------+  
37. | id | value | name | item_id |  
38. +----+-------+------+---------+  
39. |  1 |     0 | 40   |     999 |   
40. |  2 |     0 | 50   |     999 |   
41. +----+-------+------+---------+  
42.   
43. mysql> select * from db03.item_detail;  
44. +----+-------+------+---------+  
45. | id | value | name | item_id |  
46. +----+-------+------+---------+  
47. |  1 |     0 | 40   |       1 |   
48. |  2 |     0 | 50   |       1 |   
49. +----+-------+------+---------+  

测试完成，数据进行了分库分表。

 server.xml 和 schema.xml 配置情况

1. # vi /usr/local/mycat/conf/server.xml  
2.   
3. <?xml version="1.0" encoding="UTF-8"?>  
4. <!DOCTYPE mycat:server SYSTEM "server.dtd">  
5. <mycat:server xmlns:mycat="http://org.opencloudb/">  
6.         <system>  
7.             <!--   
8.                 <property name="processors">32</property>  
9.                 <property name="processorExecutor">32</property>   
10.                 <property name="bindIp">0.0.0.0</property>   
11.                 <property name="frontWriteQueueSize">4096</property>  
12.                 <property name="idleTimeout">300000</property>  
13.                 <property name="mutiNodePatchSize">100</property>  
14.             -->  
15.                 <property name="defaultSqlParser">druidparser</property>  
16.                 <property name="mutiNodeLimitType">1</property>  
17.                 <property name="serverPort">8066</property>  
18.                 <property name="managerPort">9066</property>   
19.         </system>  
20.         <!-- 任意设置登陆 mycat 的用户名,密码,数据库  -->  
21.         <user name="test">  
22.                 <property name="password">test</property>  
23.                 <property name="schemas">TESTDB</property>  
24.         </user>  
25.   
26.         <user name="user">  
27.                 <property name="password">user</property>  
28.                 <property name="schemas">TESTDB</property>  
29.                 <property name="readOnly">true</property>  
30.         </user>  
31.         <!--   
32.         <quarantine>   
33.            <whitehost>  
34.               <host host="127.0.0.1" user="mycat"/>  
35.               <host host="127.0.0.2" user="mycat"/>  
36.            </whitehost>  
37.        <blacklist check="false"></blacklist>  
38.         </quarantine>  
39.         -->  
40. </mycat:server>  

1. # vi /usr/local/mycat/conf/schema.xml  
2.   
3. <?xml version="1.0"?>  
4. <!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
5. <mycat:schema xmlns:mycat="http://org.opencloudb/">  
6.   
7.     <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致  -->  
8.     <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">  
9.         <table name="users" primaryKey="id" type="global" dataNode="node_db01" />  
10.   
11.         <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">  
12.                 <childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />  
13.         </table>  
14.     </schema>  
15.   
16.     <!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost -->  
17.     <dataNode name="node_db01" dataHost="dataHost01" database="db01" />  
18.     <dataNode name="node_db02" dataHost="dataHost01" database="db02" />  
19.     <dataNode name="node_db03" dataHost="dataHost01" database="db03" />  
20.   
21.     <!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 -->  
22.     <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">  
23.             <heartbeat>select user()</heartbeat>  
24.             <writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>  
25.     </dataHost>  
26. </mycat:schema>  

六，MYCAT和COBAR 比较

1 mycat 比cobar 推出比较晚，mycat 有很多 后者没有的功能

2 mycat 以cobar为基础做了改进和优化，系统架构基本一致，都比较成熟。

3 主流程中的类名，接口名，函数名以及之间的调用关系基本一致。

4 对于 Cobar 前端BIO 实现方式，一个并发连接就要阻塞一个线程，而JVM线程数是有限的，所以Cobar与DBServer 执行时慢，会导致Cobar无响应，即假死。为此Mycat 版本做了较大改进，改进为AIO ，并发连接数上线过万。另外，NIO改为AIO，对于内核的slelect 改为epoll：一是进一步提高了IO效率：二是简化了API调用，至少应用不需要一个额外的线程进程循环等等读。
5 Cobar 仅仅是结果的简单集合，并没有排序，函数归并等功能，例如：max，count函数都不支持，Mycat 为此增加DataMergeService

6 Cobar处于停滞状态，MyCAT社区非常活跃

参考：

https://blog.csdn.net/pingdouble/article/details/79731677