mysql缓冲和缓存设置详解
MySQL可调节设置可以应用于整个mysqld进程,也可以应用于单个客户机会话。
服务器端的设置
每个表都可以表示为磁盘上的一个文件,必须先打开,后读取。为了加快从文件中读取数据的过程,mysqld对这些打开文件进行了缓存,其最大数目由/etc/mysqld.conf中的table_cache指定。清单4给出了显示与打开表有关的活动的方式。
清单4.显示打开表的活动
mysql>SHOWSTATUSLIKE'open%tables'; +---------------+-------+ |Variable_name|Value| +---------------+-------+ |Open_tables|5000| |Opened_tables|195| +---------------+-------+ 2rowsinset(0.00sec)
清单4说明目前有5,000个表是打开的,有195个表需要打开,因为现在缓存中已经没有可用文件描述符了(由于统计信息在前面已经清除了,因此可能会存在5,000个打开表中只有195个打开记录的情况)。如果Opened_tables随着重新运行SHOWSTATUS命令快速增加,就说明缓存命中率不够。如果Open_tables比table_cache设置小很多,就说明该值太大了(不过有空间可以增长总不是什么坏事)。例如,使用table_cache=5000可以调整表的缓存。
与表的缓存类似,对于线程来说也有一个缓存。mysqld在接收连接时会根据需要生成线程。在一个连接变化很快的繁忙服务器上,对线程进行缓存便于以后使用可以加快最初的连接。
清单5显示如何确定是否缓存了足够的线程。
清单5.显示线程使用统计信息
mysql>SHOWSTATUSLIKE'threads%'; +-------------------+--------+ |Variable_name|Value| +-------------------+--------+ |Threads_cached|27| |Threads_connected|15| |Threads_created|838610| |Threads_running|3| +-------------------+--------+ 4rowsinset(0.00sec)
此处重要的值是Threads_created,每次mysqld需要创建一个新线程时,这个值都会增加。如果这个数字在连续执行SHOWSTATUS命令时快速增加,就应该尝试增大线程缓存。例如,可以在my.cnf中使用thread_cache=40来实现此目的。
关键字缓冲区保存了MyISAM表的索引块。理想情况下,对于这些块的请求应该来自于内存,而不是来自于磁盘。清单6显示了如何确定有多少块是从磁盘中读取的,以及有多少块是从内存中读取的。
清单6.确定关键字效率
mysql>showstatuslike'%key_read%'; +-------------------+-----------+ |Variable_name|Value| +-------------------+-----------+ |Key_read_requests|163554268| |Key_reads|98247| +-------------------+-----------+ 2rowsinset(0.00sec)
Key_reads代表命中磁盘的请求个数,Key_read_requests是总数。命中磁盘的读请求数除以读请求总数就是不中比率——在本例中每1,000个请求,大约有0.6个没有命中内存。如果每1,000个请求中命中磁盘的数目超过1个,就应该考虑增大关键字缓冲区了。例如,key_buffer=384M会将缓冲区设置为384MB。
临时表可以在更高级的查询中使用,其中数据在进一步进行处理(例如GROUPBY字句)之前,都必须先保存到临时表中;理想情况下,在内存中创建临时表。但是如果临时表变得太大,就需要写入磁盘中。清单7给出了与临时表创建有关的统计信息。
清单7.确定临时表的使用
mysql>SHOWSTATUSLIKE'created_tmp%'; +-------------------------+-------+ |Variable_name|Value| +-------------------------+-------+ |Created_tmp_disk_tables|30660| |Created_tmp_files|2| |Created_tmp_tables|32912| +-------------------------+-------+ 3rowsinset(0.00sec)
每次使用临时表都会增大Created_tmp_tables;基于磁盘的表也会增大Created_tmp_disk_tables。对于这个比率,并没有什么严格的规则,因为这依赖于所涉及的查询。长时间观察Created_tmp_disk_tables会显示所创建的磁盘表的比率,您可以确定设置的效率。tmp_table_size和max_heap_table_size都可以控制临时表的最大大小,因此请确保在my.cnf中对这两个值都进行了设置。
每个会话的设置
下面这些设置针对于每个会话。在设置这些数字时要十分谨慎,因为它们在乘以可能存在的连接数时候,这些选项表示大量的内存!您可以通过代码修改会话中的这些数字,或者在my.cnf中为所有会话修改这些设置。
当MySQL必须要进行排序时,就会在从磁盘上读取数据时分配一个排序缓冲区来存放这些数据行。如果要排序的数据太大,那么数据就必须保存到磁盘上的临时文件中,并再次进行排序。如果sort_merge_passes状态变量很大,这就指示了磁盘的活动情况。清单8给出了一些与排序相关的状态计数器信息。
清单8.显示排序统计信息
mysql>SHOWSTATUSLIKE"sort%"; +-------------------+---------+ |Variable_name|Value| +-------------------+---------+ |Sort_merge_passes|1| |Sort_range|79192| |Sort_rows|2066532| |Sort_scan|44006| +-------------------+---------+ 4rowsinset(0.00sec)
如果sort_merge_passes很大,就表示需要注意sort_buffer_size。例如,sort_buffer_size=4M将排序缓冲区设置为4MB。
MySQL也会分配一些内存来读取表。理想情况下,索引提供了足够多的信息,可以只读入所需要的行,但是有时候查询(设计不佳或数据本性使然)需要读取表中大量数据。要理解这种行为,需要知道运行了多少个SELECT语句,以及需要读取表中的下一行数据的次数(而不是通过索引直接访问)。实现这种功能的命令如清单9所示。
清单9.确定表扫描比率
mysql>SHOWSTATUSLIKE"com_select"; +---------------+--------+ |Variable_name|Value| +---------------+--------+ |Com_select|318243| +---------------+--------+ 1rowinset(0.00sec) mysql>SHOWSTATUSLIKE"handler_read_rnd_next"; +-----------------------+-----------+ |Variable_name|Value| +-----------------------+-----------+ |Handler_read_rnd_next|165959471| +-----------------------+-----------+ 1rowinset(0.00sec)
Handler_read_rnd_next/Com_select得出了表扫描比率——在本例中是521:1。如果该值超过4000,就应该查看read_buffer_size,例如read_buffer_size=4M。如果这个数字超过了8M,就应该与开发人员讨论一下对这些查询进行调优了!
查看数据库缓存配置情况
mysql>SHOWVARIABLESLIKE‘%query_cache%'; +——————————+———+ |Variable_name|Value| +——————————+———+ |have_query_cache|YES|–查询缓存是否可用 |query_cache_limit|1048576|–可缓存具体查询结果的最大值 |query_cache_min_res_unit|4096| |query_cache_size|599040|–查询缓存的大小 |query_cache_type|ON|–阻止或是支持查询缓存 |query_cache_wlock_invalidate|OFF| +——————————+———+
配置方法:
在MYSQL的配置文件my.ini或my.cnf中找到如下内容:
#QuerycacheisusedtocacheSELECTresultsandlaterreturnthem #withoutactualexecutingthesamequeryonceagain.Havingthequery #cacheenabledmayresultinsignificantspeedimprovements,ifyour #havealotofidenticalqueriesandrarelychangingtables.Seethe #"Qcache_lowmem_prunes"statusvariabletocheckifthecurrentvalue #ishighenoughforyourload. #Note:Incaseyourtableschangeveryoftenorifyourqueriesare #textuallydifferenteverytime,thequerycachemayresultina #slowdowninsteadofaperformanceimprovement. query_cache_size=0
以上信息是默认配置,其注释意思是说,MYSQL的查询缓存用于缓存select查询结果,并在下次接收到同样的查询请求时,不再执行实际查询处理而直接返回结果,有这样的查询缓存能提高查询的速度,使查询性能得到优化,前提条件是你有大量的相同或相似的查询,而很少改变表里的数据,否则没有必要使用此功能。可以通过Qcache_lowmem_prunes变量的值来检查是否当前的值满足你目前系统的负载。注意:如果你查询的表更新比较频繁,而且很少有相同的查询,最好不要使用查询缓存。
具体配置方法:
1.将query_cache_size设置为具体的大小,具体大小是多少取决于查询的实际情况,但最好设置为1024的倍数,参考值32M。
2.增加一行:query_cache_type=1
query_cache_type参数用于控制缓存的类型,注意这个值不能随便设置,必须设置为数字,可选项目以及说明如下:
如果设置为0,那么可以说,你的缓存根本就没有用,相当于禁用了。但是这种情况下query_cache_size设置的大小系统是否要为其分配呢,这个问题有待于测试?
如果设置为1,将会缓存所有的结果,除非你的select语句使用SQL_NO_CACHE禁用了查询缓存。
如果设置为2,则只缓存在select语句中通过SQL_CACHE指定需要缓存的查询。
OK,配置完后的部分文件如下:
query_cache_size=128M query_cache_type=1
保存文件,重新启动MYSQL服务,然后通过如下查询来验证是否真正开启了:
mysql>showvariableslike'%query_cache%'; +——————————+———–+ |Variable_name|Value| +——————————+———–+ |have_query_cache|YES| |query_cache_limit|1048576| |query_cache_min_res_unit|4096| |query_cache_size|134217728| |query_cache_type|ON| |query_cache_wlock_invalidate|OFF| +——————————+———–+ 6rowsinset(0.00sec)
主要看query_cache_size和query_cache_type的值是否跟我们设的一致:
这里query_cache_size的值是134217728,我们设置的是128M,实际是一样的,只是单位不同,可以自己换算下:134217728=128*1024*1024。
query_cache_type设置为1,显示为ON,这个前面已经说过了。
总之,看到上边的显示表示设置正确,但是在实际的查询中是否能够缓存查询,还需要手动测试下,我们可以通过showstatuslike'%Qcache%';语句来测试,现在我们开启了查询缓存功能,在执行查询前,我们先看看相关参数的值:
mysql>showstatuslike'%Qcache%'; +————————-+———–+ |Variable_name|Value| +————————-+———–+ |Qcache_free_blocks|1| |Qcache_free_memory|134208800| |Qcache_hits|0|