Amoeba 主从复制和读写分离

引子

最近在研究Web服务端负载均衡方面的技术，参考网上资料，总体思路可以分为如下几类：

1.应用服务器集群，典型的代表就是Nginx+Tomcat实现负载均衡；

2.数据库集群。

本文主要关注数据库集群。

实现思路

1.应用层解决方案

通过应用层对数据源做路由来实现读写分离，项目是SpringMVC+myBatis，SQL路由交给Spring，通过AOP或者Annotation由代码显示的控制Datasource。

优点是路由策略的扩展性和可控性较强。

缺点是耦合到Spring；需要加入控制代码。

2.中间件解决方案

通过mysql中间件做主从集群，Mysql Proxy、Amoeba、Atlas等中间件貌似都能符合需求。

优点是与应用层解耦。

缺点是增加一个服务维护的风险点，性能及稳定性待测试，需要支持代码强制主从和事务。

3.驱动解决方案

Mysql自带的ReplicationDriver提供主从库访问的驱动，是通过保持多个数据源的链接并根据ReadOnly True/False来选择数据源。相当于应用层解决方案的一个现有实现，扩展性更弱。并且貌似不能使用其他驱动。由于耦合较高暂不考虑。

三种实现思路关键技术

1.在应用层使用Spring对数据源做路由，关键字：Spring AOP；

2.增加中间代理层，Amoeba就属于这种情况，此外还有Mysql官方提供的Mysql Proxy；

3.在驱动层使用Mysql提供的主从库访问驱动，直接与数据库连接驱动耦合，扩展性弱，目前还未做原型尝试。

综合上述分析，考虑到需要与应用层解耦，现采用中间件解决方案，使用Amoeba做SQL路由，实现数据库读写分离。

既然选择使用Amoeba，让我们先了解什么是Amoeba？它能做什么？要怎么做？最后再看看它不能做什么。

Amoeba

Amoeba是什么

Amoeba(变形虫)项目,该开源框架于开始发布一款Amoeba for Mysql软件。详细资料可参阅Amoeba官方文档(需翻墙)。

Amoeba能做什么

Amoeba致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层 （Database Proxy）开发。座落与 Client、DB Server(s)之间，对客户端透明。具有负载均衡、高可用性、SQL过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。 通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能。

Amoeba不能做什么

既然知道Amoeba能为我们解决什么问题，也要做到Amoeba不擅长的事情。这样在具体项目技术方案选择时，方能权衡考虑。Amoeba对于以下几点暂时无能为力：

1.目前还不支持事务；

2.暂时不支持存储过程，官方说近期会支持；

3.不适合从Amoeba导数据的场景或者对大数据量查询的query并不合适，比如一次请求返回10w以上甚至更多数据的场合；

4.暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致。

若实际项目中所需要的功能正式Amoeba的短板，建议使用Mysql Proxy作为中间件，或者在应用层通过程序控制数据源，手动实现数据库读写分离。

原型环境

1.服务器A

IP: 1XX.XX.XX.181

运行Mysql主数据库和Amoeba。

2.服务器B

IP: 1XX.XX.XX.182

运行Mysql从数据库。

3.服务器C

IP: 1XX.XX.XX.183

运行Mysql从数据库。

OS版本。

[root@chenllcentos~]#cat/etc/redhat-releaseCentOSrelease6.5(Final)

具体实现

Mysql数据库读写分离的具体实现主要包括两个部分配置，即数据主从复制和Amoeba代理，现分别进行介绍。

主从复制

为什么要进行主从复制呢，其实很容易理解，因为数据要同步啊。

查看服务器A是否已经安装Mysql数据库。

[root@chenllcentos~]#rpm-aq|grepmysql

若无消息显示，则进行Mysql安装，否则跳过此步骤。

yuminstall-ymysql-servermysqlmysql-develmysql-libs

Mysql安装完毕，默认开机不启动Mysql服务。

[root@chenllcentos~]#chkconfig--list|grepmysqldmysqld0:关闭1:关闭2:关闭3:关闭4:关闭5:关闭6:关闭

现在我们更改下配置，让Mysql开机启动。

[root@chenllcentos~]#chkconfigmysqldon[root@chenllcentos~]#chkconfig--list|grepmysqldmysqld0:关闭1:关闭2:启用3:启用4:启用5:启用6:关闭

接下来，设置Mysql账户密码。

[root@chenllcentos~]#mysqladmin-urootpassword'yourpassword'

此时,可以用刚才设置的账户密码登陆数据库。

[root@chenllcentos~]#mysql-uroot-pyourpassword

至此，Mysql数据库安装成功。同样的，对服务器B和服务器C安装Mysql数据库，此处略去。接下来，开始进行数据库主从复制的配置。

1.主数据库配置

修改主数据库配置文件f。

[root@chenllcentos~]#vi/etc/f

新增如下标注内容：

[mysqld]max_connections=1000binlog-ignore-db=mysql#新增binlog-ignore-db=information_schema#新增log-bin=mysql-bin#新增server-id=1#新增datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql#Disablingsymbolic-linksisrecommendedtopreventassortedsecurityriskssymbolic-links=0[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.pid

关于新增的几项配置，有什么作用呢？其中binlog-ignore-db用来指定忽略同步的数据库，未指定的默认都进行主从复制。log-bin 指定数据库操作日志，主从复制的过程本质就是从数据库在主数据库读取该日志文件，并且再执行一次。server-id只要满足在数据库集群中不重复即可。

保存退出，重启Mysqld服务，使配置生效。额外提个原则，凡是修改到配置文件，最好都重启该配置相关的程序或服务。

[root@chenllcentos~]#servicemysqldrestart停止mysqld：[确定]正在启动mysqld：[确定]

登陆主数据库。

[root@chenllcentos~]#mysql-uroot-pyourpassword

查看主数据库master状态。

mysql>showmasterstatus\G***************************1.row***************************File:mysql-bin.000015Position:106Binlog_Do_DB:Binlog_Ignore_DB:mysql,information_schema

可以看出，Binlog_Ignore_DB显示的信息就是刚才我们在配置文件所配置的信息。此外，还有两个重要的参数需要记下：mysql-bin.000015和106。从数据库就是根据这两个参数，完成主从复制，以达到数据同步的效果。

从数据库要读取主数据库日志文件，需要主数据开放授权用户。

mysql>GRANTREPLICATIONSLAVEON*.*to'slave'@'1XX.XX.XX.182'identifiedby'root'mysql>GRANTREPLICATIONSLAVEON*.*to'slave1'@'1XX.XX.XX.183'identifiedby'root'

进行从数据库配置时，将使用到这两个授权用户。

出于数据安全性考虑，Mysql提供访问权限控制，若以主机的方式远程访问数据库，需要开启相应权限。

mysql>GRANTALLPRIVILEGESON*.*TO'root'@'1XX.XX.XX.181'IDENTIFIEDBY'root'WITHGRANTOPTION;mysql>FLUSHPRIVILEGES;mysql>GRANTALLPRIVILEGESON*.*TO'root'@'1XX.XX.XX.182'IDENTIFIEDBY'root'WITHGRANTOPTION;mysql>FLUSHPRIVILEGES;mysql>GRANTALLPRIVILEGESON*.*TO'root'@'1XX.XX.XX.183'IDENTIFIEDBY'root'WITHGRANTOPTION;mysql>FLUSHPRIVILEGES;

最后，还需要修改iptables，对数据库端口3306放行。

[root@chenllcentos~]#vi/etc/sysconfig/iptables

新增如下语句：

#放行Mysql端口-AINPUT-mstate--stateNEW-mtcp-ptcp--dport3306-jACCEPT

至此，完成主数据库配置。接下来，让我们进行从数据库配置。

2.从数据库配置

从数据库配置相对主数据配置相对简单，主要包括配置文件修改和主从复制设置。现以服务器B为例进行说明。

修改从数据库配置文件。

[mysqld]max_connections=1000server-id=2#新增datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql#Disablingsymbolic-linksisrecommendedtopreventassortedsecurityriskssymbolic-links=0[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.pid

设置主从数据库同步点。

mysql>changemastertomaster_host='1XX.XX.XX.181',master_user='slave',master_password='root',master_log_file='mysql-bin.000015',master_log_pos=106;

还记得mysql-bin.000015和106这两个参数吗？没错，就是我们在主数据库查看master状态所显示的信息。

启动主从复制。

mysql>slavestart;

查询slave状态。

mysql>showslavestatus\G***************************1.row***************************Slave_IO_State:WaitingformastertosendeventMaster_Host:1XX.XX.XX.181Master_User:slaveMaster_Port:3306Connect_Retry:60Master_Log_File:mysql-bin.000015Read_Master_Log_Pos:106Relay_Log_File:mysqld-relay-bin.000005Relay_Log_Pos:251Relay_Master_Log_File:mysql-bin.000015Slave_IO_Running:YesSlave_SQL_Running:YesReplicate_Do_DB:Replicate_Ignore_DB:Replicate_Do_Table:Replicate_Ignore_Table:Replicate_Wild_Do_Table:Replicate_Wild_Ignore_Table:Last_Errno:0Last_Error:Skip_Counter:0Exec_Master_Log_Pos:106Relay_Log_Space:758Until_Condition:NoneUntil_Log_File:Until_Log_Pos:0Master_SSL_Allowed:NoMaster_SSL_CA_File:Master_SSL_CA_Path:Master_SSL_Cert:Master_SSL_Cipher:Master_SSL_Key:Seconds_Behind_Master:0Master_SSL_Verify_Server_Cert:NoLast_IO_Errno:0Last_IO_Error:Last_SQL_Errno:0Last_SQL_Error:

只有当Slave_IO_Running和Slave_SQL_Running都显示Yes时，才表示主从复制配置成功。否则失败，检查上述配置过程。

服务器C从数据库的配置过程类似，此处略去。

主从复制验证

首先，在主数据建立一个demo数据库，看两个从数据库是否会自动进行复制。

在服务器A登录主数据库，查看现有数据库。

mysql>showdatabases;+--------------------+|Database|+--------------------+|information_schema||mysql||test|+--------------------+

现在，新增一个测试数据库demo。

mysql>createdatabasedemo;

接下来，分别登录服务器B和服务器C的从数据库，查询数据库。

mysql>showdatabases;+--------------------+|Database|+--------------------+|information_schema||demo||mysql||test|+--------------------+

可以发现，当主数据库发生改动，从数据库会相应同步，并且同步的过程是异步进行的。因此，可以验证我们配置的主从复制已经生效。

Amoeba数据库代理

Amoeba作为数据库代理，以中间件的形式存在，拓扑图如下所示：

图片来源于Amoeba官网。

目前Amoeba for Mysql最新版本为amoeba-mysql-3.0.5-RC-distribution.zip。

安装过程很简单，只需要将zip压缩包解压至/usr/local/即可。若没有安装zip和unzip，可以通过centOS yum安装。

[root@chenllcentos~]#yum-yinstallzipunzip

接下来，解压Amoeba压缩包。

[root@chenllcentos~]#unzipamoeba-mysql-3.0.5-RC-distribution.zip[root@chenllcentos~]#cp-rfamoeba-mysql-3.0.5-RC/usr/local

启动Amoeba。

[root@chenllcentos~]#/usr/local/amoeba-mysql-3.0.5-RC/bin/launcher

但是提示出现fatal exception：

Thestacksizespecifiedistoosmall,Specifyatleast228kError:CouldnotcreatetheJavaVirtualMachine.Error:Afatalexceptionhasoccurred.Programwillexit.

从错误文字上看，应该是由于stack size太小，导致JVM启动失败，要如何修改呢？

其实Amoeba已经考虑到这个问题，并将JVM参数配置写在属性文件里。现在，让我们通过该属性文件修改JVM参数。

修改jvm.properties文件JVM_OPTIONS参数。

[root@chenllcentos~]#vi/usr/local/amoeba-mysql-3.0.5-RC/jvm.properties

将内容：

JVM_OPTIONS="-server-Xms256m-Xmx1024m-Xss196k-XX:PermSize=16m-XX:MaxPermSize=96m"

替换为：

JVM_OPTIONS="-server-Xms1024m-Xmx1024m-Xss256k-XX:PermSize=16m-XX:MaxPermSize=96m"

再次启动Amoeba。

[root@chenllcentos~]#/usr/local/amoeba-mysql-3.0.5-RC/bin/launcher

若使用Amoeba完成读写分离，需要分别对dbServers.xml和amoeba.xml两个配置文件进行配置。与在应用层实现读写分离不同，使用Amoeba实现读写分离只需要修改配置文件，并不会产生硬编码耦合，有利于系统扩展和维护。

首先是配置dbServers.xml，主要是配置真实Mysql数据库连接信息。

<?xmlversion="1.0"encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM “dbserver.dtd”> <amoeba:dbServers xmlns:amoeba=“/”>

<!--EachdbServerneedstobeconfiguredintoaPool,IfyouneedtoconfiguremultipledbServerwithloadbalancingthatcanbesimplifiedbythefollowingconfiguration:addattributewithnamevirtual="true"indbServer,buttheconfigurationdoesnotallowtheelementwithnamefactoryConfigsuchas'multiPool'dbServer--><!--该dbServer节点abstractive="true"，包含Mysql的公共配置信息，其他dbServer节点都继承该节点--><!--设置节点配置的继承结构，可以避免重复配置相同信息，减少配置文件冗余--><dbServername="abstractServer"abstractive="true"><factoryConfigclass="com.meidusa..MysqlServerConnectionFactory"><propertyname="connectionManager">${defaultManager}</property><propertyname="sendBufferSize">64</property><propertyname="receiveBufferSize">128</property><!--mysqlport--><!--Mysql默认端口--><propertyname="port">3306</property><!--mysqlschema--><!--默认连接的数据库，若不存在需要事先创建，否则Amoeba启动报错--><propertyname="schema">test</property><!--mysqluser--><propertyname="user">root</property><propertyname="password">root</property></factoryConfig><poolConfigclass="com.mon.poolable.PoolableObjectPool"><propertyname="maxActive">500</property><propertyname="maxIdle">500</property><propertyname="minIdle">1</property><propertyname="minEvictableIdleTimeMillis">600000</property><propertyname="timeBetweenEvictionRunsMillis">600000</property><propertyname="testOnBorrow">true</property><propertyname="testOnReturn">true</property><propertyname="testWhileIdle">true</property></poolConfig></dbServer><!--master节点继承abstractServer--><dbServername="master"parent="abstractServer"><factoryConfig><!--mysqlip--><!--master数据库主机地址--><propertyname="ipAddress">1XX.XX.XX.181</property></factoryConfig></dbServer><!--slave节点继承abstractServer--><dbServername="slave"parent="abstractServer"><factoryConfig><!--mysqlip--><!--slave数据库主机地址--><propertyname="ipAddress">1XX.XX.XX.182</property></factoryConfig></dbServer><!--slave1节点继承abstractServer--><dbServername="slave1"parent="abstractServer"><factoryConfig><!--mysqlip--><!--slave1数据库主机地址--><propertyname="ipAddress">1XX.XX.XX.183</property></factoryConfig></dbServer>

1XX.XX.XX.181

1XX.XX.XX.185

<!--配置数据库读取连接池--><dbServername="readPool"virtual="true"><poolConfigclass="com.meidusa.amoeba.server.MultipleServerPool"><!--Loadbalancingstrategy:1=ROUNDROBIN,2=WEIGHTBASED,3=HA--><propertyname="loadbalance">1</property><!--Separatedbycommas,suchas:server1,server2,server1--><propertyname="poolNames">slave,slave1</property></poolConfig></dbServer>

</amoeba:dbServers>

可以看出，对dbServers.xml文件的配置，主要就是对dbServer节点的配置。其中，readPool节点需要特别注意，因为Amoeba实现读写分离就是根据它来实现。

接下来是amoeba.xml，主要是配置代理数据库连接信息。

<?xmlversion="1.0"encoding="gbk"?><!DOCTYPEamoeba:configurationSYSTEM"amoeba.dtd"><amoeba:configurationxmlns:amoeba="/"><proxy><!--serviceclassmustimplementscom.meidusa.amoeba.service.Service--><servicename="AmoebaforMysql"class="com.meidusa.amoeba.mysql.server.MySQLService"><!--port--><propertyname="port">8066</property><!--bindipAddress--><!--<propertyname="ipAddress">1XX.XX.XX.181</property>--><propertyname="connectionFactory"><beanclass="com.meidusa..MysqlClientConnectionFactory"><propertyname="sendBufferSize">128</property><propertyname="receiveBufferSize">64</property></bean></property><propertyname="authenticateProvider"><beanclass="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"><propertyname="user">root</property><propertyname="password">aroot</property><propertyname="filter"><beanclass="com..authenticate.server.IPAccessController"><propertyname="ipFile">${amoeba.home}/conf/access_list.conf</property></bean></property></bean></property></service><runtimeclass="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext"><!--proxyserverclientprocessthreadsize--><propertyname="executeThreadSize">128</property><!--perconnectioncachepreparedstatementsize--><propertyname="statementCacheSize">500</property><!--defaultcharset--><propertyname="serverCharset">utf8</property><!--querytimeout(default:60second,TimeUnit:second)--><propertyname="queryTimeout">60</property></runtime></proxy><!--EachConnectionManagerwillstartasthreadmanagerresponsiblefortheConnectionIOread,DeathDetection--><connectionManagerList><connectionManagername="defaultManager"class="com..MultiConnectionManagerWrapper"><propertyname="subManagerClassName">com..AuthingableConnectionManager</property></connectionManager></connectionManagerList><!--defaultusingfileloader--><dbServerLoaderclass="com.meidusa.amoeba.context.DBServerConfigFileLoader"><propertyname="configFile">${amoeba.home}/conf/dbServers.xml</property></dbServerLoader><queryRouterclass="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"><propertyname="ruleLoader"><beanclass="com.meidusa.amoeba.route.TableRuleFileLoader"><propertyname="ruleFile">${amoeba.home}/conf/rule.xml</property><propertyname="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property></bean></property><propertyname="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property><propertyname="LRUMapSize">1500</property><propertyname="defaultPool">master</property><propertyname="writePool">master</property><propertyname="readPool">readPool</property><propertyname="needParse">true</property></queryRouter></amoeba:configuration>

在amoeba.xml中，主要完成连接信息和SQL路由配置。在queryRouter节点中，通过配置writePool和readPool可以实现读写分离。

配置完成后，重启Amoeba。

[root@chenllcentos~]#/usr/local/amoeba-mysql-3.0.5-RC/bin/shutdown[root@chenllcentos~]#/usr/local/amoeba-mysql-3.0.5-RC/bin/launcher

至此，Mysql主从复制和使用Amoeba实现数据库读写分离全部配置完成。

读写分离验证

接下来，进行简单测试，验证以上配置是否能够正确运行。

登录master主数据库。

[root@chenllcentos~]#mysql-uroot-pyourpassword-h1XX.XX.XX.181-P8066

额外说明下，此处的yourpassword是连接Amoeba的密码，也就是在amoeba.xml配置文件中配置的密码，与Mysql密码不同，需要注意。

登陆后，此时会提示以下信息。

Serverversion:5.1.45-mysql-amoeba-proxy-3.0.4-BETASourcedistribution

说明已经成功连接Mysql代理Amoeba。

为了验证Amoeba读写分离配置是否生效，我们做一个简单的测试。

先在181服务器master服务器上创建一个表。

mysql>createtablesxit(idint(10),namevarchar(10));

而后，分别停止服务器B和服务器C两个从数据库的主从复制，便于数据库操作观察。

登陆服务器B从数据库。

[root@chenllcentos~]#mysql-uroot-pyourpassword

停止从数据库主从复制。

mysql>slavestop;

登陆服务器C从数据库。

[root@chenllcentos~]#mysql-uroot-pyourpassword

停止从数据库主从复制。

mysql>slavestop;

在主数据库插入。

mysql>insertintosxitvalues('1','zhangsan');

在从数据库B插入。

mysql>insertintosxitvalues('2','lisi');

在从数据库C插入。

mysql>insertintosxitvalues('3','john');

登陆到amoeba服务器,进行读写分离的测试:

[root@chenllcentos~]#mysql-uroot-pyourpassword-h1XX.XX.XX.181-P8066mysql>usetest;mysql>select*fromsxit;+------+------+|id|name|+------+------+|2|lisi|+------+------+mysql>select*fromsxit;+------+------+|id|name|+------+------+|3|john|+------+------+

重复执行多次，发现始终只显示从数据库的数据，说明如果进行数据库读操作，Amoeba只将读数据SQL命令路由至从数据库。

登录主数据库。

[root@chenllcentos~]#mysql-uroot-pyourpasswordmysql>usetest;mysql>select*fromsxit;+------+----------+|id|name|+------+----------+|1|zhangsan|+------+----------+

可以验证，使用Amoeba对Mysql读写分离成功。若此时开启从数据库主从复制，则可以进行Mysql集群和负载均衡。

小结

使用Amoeba做数据库代理，对于应用层来说是透明的。所谓透明，可以这么简单理解，是否使用代理，在应用层编码上是没有任何区别的，即使用代理的情况下，应用层和数据层能够保持高度解耦。

转载自/u/1169079/blog/390726#OSC_h3_6