MySQL的使用中实现读写分离的教程
mysql-proxy实现读写分离
MySQLProxy是一个处于你的client端和MySQLserver端之间的简单程序,它可以监测、分析或改变它们的通信。它使用灵活,没有限制,常见的用途包括:负载平衡,故障、查询分析,查询过滤和修改等等。
MySQLProxy就是这么一个中间层代理,简单的说,MySQLProxy就是一个连接池,负责将前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡。对于应用来说,MySQLProxy是完全透明的,应用则只需要连接到MySQLProxy的监听端口即可。当然,这样proxy机器可能成为单点失效,但完全可以使用多个proxy机器做为冗余,在应用服务器的连接池配置中配置到多个proxy的连接参数即可。
MySQLProxy更强大的一项功能是实现“读写分离”,基本原理是让主数据库处理事务性查询,让从库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从库。
1、安装mysql-proxy
此处下载安装包http://ftp.ntu.edu.tw/pub/MySQL/Downloads/MySQL-Proxy/
如果是编译安装依赖包有 libevent21.x lua5.1.x glibc22.6.0 pkg-config libtool1.5
这里使用glibc的二进制包解压即可mysql-proxy-0.8.3-linux-glibc2.3-x86-64bit.tar.gz
tar-zxvfmysql-proxy-0.8.3-linux-glibc2.3-x86-64bit.tar.gz mvmysql-proxy-0.8.3-linux-glibc2.3-x86-64bit/usr/local/mysql-proxy
2、创建好mysql主从复制
master192.168.216.133:3306 slave192.168.216.132:3306
3、配置mysql-proxy
创建mysql-proxy配置文件,配置文件中的所有选择都不能加引号
vim/usr/local/mysql-proxy/mysql-proxy.conf
[mysql-proxy] daemon=true#以后台守护进程方式启动 keepalive=true#当进程故障后自动重启 log-level=debug#设置日志级别为debug,可以在调试完成后改成info log-file=/var/log/mysql-proxy.log#设置日志文件路径 basedir=/usr/local/mysql-proxy#设置mysql-proxy的家目录 proxy-address=192.168.216.132:4040#指定mysql-proxy的监听地址 proxy-backend-addresses=192.168.216.133:3306#设置后台主服务器 proxy-read-only-backend-addresses=192.168.216.132:3306#设置后台从服务器 proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua#设置读写分离脚本路径 admin-address=192.168.216.132:4041#设置mysql-proxy管理地址,需要家长admin插件 admin-username=admin#设置登录管理地址用户 admin-password=admin#设置管理用户密码 admin-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/admin.lua#设置管理后台lua脚本路径,改脚本默认没有要自动定义
配置完mysql-proxy.conf后需要确保该文件的权限是600,并确保包含个lua脚本
通过配置文件启动mysql-proxy
/usr/local/mysql-proxy/bin/mysql-proxy--plugins=proxy--plugins=admin--defaults-file=mysql-proxy.conf --plugins=proxy#指定proxy插件,该配置写入配置文件无法启动 --plugins=admin#指定admin插件 --defaults-file=mysql-proxy.conf#指定配置文件
4、启动测试
登录管理地址查看当前状态
mysql-uadmin-padmin-h192.168.216.132-P4041
两个后端服务器当前状态为unknown是因为没有用户通过mysql-proxy连接到后端
mysql-proxy不对用户做身份验证,而是下身份验证交予后端服务器进行验证的,因此需要在后端服务器上对mysql-proxy开放权限
下面是自定义的admin.lua
functionset_error(errmsg) proxy.response={ type=proxy.MYSQLD_PACKET_ERR, errmsg=errmsgor"error" } end functionread_query(packet) ifpacket:byte()~=proxy.COM_QUERYthen set_error("[admin]weonlyhandletext-basedqueries(COM_QUERY)") returnproxy.PROXY_SEND_RESULT end localquery=packet:sub(2) localrows={} localfields={} ifquery:lower()=="select*frombackends"then fields={ {name="backend_ndx",type=proxy.MYSQL_TYPE_LONG}, {name="address",type=proxy.MYSQL_TYPE_STRING}, {name="state",type=proxy.MYSQL_TYPE_STRING}, {name="type",type=proxy.MYSQL_TYPE_STRING}, {name="uuid",type=proxy.MYSQL_TYPE_STRING}, {name="connected_clients",type=proxy.MYSQL_TYPE_LONG}, } fori=1,#proxy.global.backendsdo localstates={ "unknown", "up", "down"} localtypes={ "unknown", "rw", "ro" } localb=proxy.global.backends[i] rows[#rows+1]={ i, b.dst.name,--configuredbackendaddress states[b.state+1],--theC-idispusheddownstartingat0 types[b.type+1],--theC-idispusheddownstartingat0 b.uuid,--theMySQLServer'sUUIDifitismanaged b.connected_clients--currentlyconnectedclients } end elseifquery:lower()=="select*fromhelp"then fields={ {name="command",type=proxy.MYSQL_TYPE_STRING}, {name="description",type=proxy.MYSQL_TYPE_STRING}, } rows[#rows+1]={"SELECT*FROMhelp","showsthishelp"} rows[#rows+1]={"SELECT*FROMbackends","liststhebackendsandtheirstate"} else set_error("use'SELECT*FROMhelp'toseethesupportedcommands") returnproxy.PROXY_SEND_RESULT end proxy.response={ type=proxy.MYSQLD_PACKET_OK, resultset={ fields=fields, rows=rows } } returnproxy.PROXY_SEND_RESULT end
5、相关问题解决
(1)、如果日志中提示(debug)[network-mysqld.c:1134]:erroronaconnection(fd:-1event:0).closingclientconnection.
可以修改rw-splitting.lua中的min_idle_connections=4和max_idle_connections=8的只,将其调大
(2)、如果遇到乱码需要调整后端mysql的设置的字符集
[mysqld] skip-character-set-client-handshake init-connect='SETNAMESutf8' character_set_server=utf8
mysqlnd_ms实现mysql读写分离
mysqlnd_ms是mysqlnd的一个插件,该插件实现了连接保存和切换、负载均衡、读写分离的功能。要想使用mysqlnd_ms的读写分离功能必须在安装php时使用–with-mysqlnd。mysqlnd实现的功能是可以不需要在php服务器上安装mysql,在php5.3之前编译安装php需要通过–with-mysql=/path/to/mysql指定mysql的安装路径。
1、安装mysqlnd_ms模块
tar-zxvfmysqlnd_ms-1.5.2.tgz cdmysqlnd_ms-1.5.2 /usr/local/php/bin/phpize ./configure--with-php-config=/usr/local/php/bin/php-config make&&makeinstall
出现以下类似提示,记录下面的路径需要拥有配置php.ini
Installingsharedextensions:/usr/local/php/lib/php/extensions/no-debug-non-zts-20121212/ Installingheaderfiles:/usr/local/php/include/php/</span>
2、编辑/usr/local/php/etc/php.ini
extension=/usr/local/php/lib/php/extensions/no-debug-non-zts-20121212/mysqlnd_ms.so mysqlnd_ms.enable=On mysqlnd_ms.config_file=/usr/local/php/etc/mysqlnd_ms_plugin.ini
3、创建mysqlnd_ms_plugin.ini配置文件
{ "myapp":{ "master":{ "master_0":{ "host":"192.168.6.135", "socket":"\/tmp\/mysql.sock" } "slave":{ "slave_0":{ "host":"192.168.6.136", "port":"3306" "slave_1":{ "host":"192.168.6.137", "port":"3306" "filters":{ "random":{ "sticky":"1" } } } }
这里使用到了1主2从的mysql服务器
filters是定义访问从服务器的策略,random是随机选择一台服务器,strick参数设置成1是指将一次请求都指向一台服务器
4、测试
使用wordpress进行测试,编辑配置文件wp-config.php
/**MySQL主机*/ define('DB_HOST','myapp');#这的myapp是在mysqlnd_ms_plugin.ini中定义的