Postgresql 如何清理WAL日志
WAL是WriteAheadLog的简写,和oracle的redo日志类似,存放在$PGDATA/pg_xlog中,10版本以后在$PGDATA/pg_wal目录.
如果开启了归档,在目录archive_status下会有一些文件,以ready结尾的,表示可以归档但还没有归档,done结尾的表示已经归档。
和WAL日志数量相关的几个参数:
wal_keep_segments=300#inlogfilesegments,16MBeach;0disables checkpoint_completion_target=0.5#checkpointtargetduration,0.0-1.0 checkpoint_segments=2048#inlogfilesegments,min1,16MBeach #9.5以后checkpoint_segments不再使用,要参考设置以下两个参数 #max_wal_size=1GB#最大不超过这个值 #min_wal_size=80MB#最小保留这个值
如果没有开启归档的情况下:
不超过以下两个公式计算得出的个数
(2+checkpoint_completion_target)*checkpoint_segments+1或者checkpoint_segments+wal_keep_segments+1
9.5以后,如果超过了max_wal_size,那么就会删除不需要的wal.
如果开启了归档,那么归档成功了,才会被清除,所以这里注意一下,如果你开启了归档,但是归档命令是失效的,那么wal目录会一直增长,不会自动删除WAL,会使得此目录被撑爆。
什么情况下回自动清理wal
1.做检查点的时候
2.数据库启动的时候,或者修改了相关参数后重启数据库。
触发检查点的情况:
1.从前一个检查点发生过后的时间超过checkpoint_timeout设置的间隔(默认间隔为300秒(5分钟))。
2.在版本9.4或更早版本中,自上一个检查点以来,超过使用checkpoint_segments(默认数量为3)设置的WAL段文件数量。
3.在9.5或更高版本中,pg_xlog(版本10或更高版本,pg_wal)中WAL段文件的总大小已超过参数max_wal_size的值(默认值为1GB(64个文件))。
4.PostgreSQL服务在smart和fast模式下停止。
5.手动执行checkpoint.
如何手动清理wal
可以通过缩小以上涉及到的函数减少walsegment的数量,也可以手动删除,如下:
pg_controldata Latestcheckpointlocation:16/79FF5520 Latestcheckpoint'sREDOlocation:16/79FF54E8 Latestcheckpoint'sREDOWALfile:00000001000000160000001E
这里表示16/79FF54E8检查点已经执行,已经包含在00000001000000160000001E日志文件中,那么这个日志之前的日志是可以清理的。
可以手动使用系统命令rm清理
也可以使用pg_archivecleanup清理
比如:
查看日志 ll total833M -rw-------1postgrespostgres64MAug2911:1000000001000000160000001E -rw-------1postgrespostgres64MJul1611:2400000001000000160000001F -rw-------1postgrespostgres64MJul1611:24000000010000001600000020 -rw-------1postgrespostgres64MJul1611:25000000010000001600000021 -rw-------1postgrespostgres64MJul1611:25000000010000001600000022 -rw-------1postgrespostgres64MJul1611:26000000010000001600000023 -rw-------1postgrespostgres64MJul1611:24000000010000001600000024 -rw-------1postgrespostgres64MJul1611:24000000010000001600000025 -rw-------1postgrespostgres64MJul1611:26000000010000001600000026 -rw-------1postgrespostgres64MJul1611:40000000010000001600000027 -rw-------1postgrespostgres64MJul1611:40000000010000001600000028 -rw-------1postgrespostgres64MJul1611:51000000010000001600000029 -rw-------1postgrespostgres64MJul1611:4000000001000000160000002A drwx------2postgrespostgres4.0KJun1810:15archive_status 保留000000010000001600000027之后的日志 pg_archivecleanup/opt/pgdata11.3/pg_root/pg_wal/000000010000001600000027 再次查看验证 ls 00000001000000160000002700000001000000160000002800000001000000160000002900000001000000160000002Aarchive_status
补充:Postgresql数据库设置备份以及简单清理磁盘空间和wal日志的方法
1.最近想简单的进行数据库的备份工作,因为现在数据库主要是用的pg数据库,所以想到用文本的方式进行,有清理了一下日志表的数据这里一起记录一下.
先记录一下查看比较大的表的信息.
从网上找了下资料,使用子查询的方式来查询表信息.
SELECT table_name, pg_size_pretty(table_size)AStable_size, pg_size_pretty(indexes_size)ASindexes_size, pg_size_pretty(total_size)AStotal_size FROM( SELECT table_name, pg_table_size(table_name)AStable_size, pg_indexes_size(table_name)ASindexes_size, pg_total_relation_size(table_name)AStotal_size FROM( SELECT('"'||table_schema||'"."'||table_name||'"')AStable_name FROMinformation_schema.tables )ASall_tables ORDERBYtotal_sizeDESC )ASpretty_sizes;
找出来最大的表信息之后,需要使用
truncatetable的方式能够直接清理空间不然空间还是占用着的.
truncatetable****
或者是在数据库的/data/base目录下面也能够看到响应的表信息
2.整理pg_wal文件内的信息
wal是writeaheadlog的意思里面跟oracle的redo内容类似,有时候文件会比较多需要清理一下.
方法
su-postgres cd/usr/lib/yourpgbinpath ./pg_resetwal{PGDATA} 执行清理
3.执行备份恢复的方式
备份 tar-czvf/pgdata.tar.gz/pgdatapath 恢复 tar-zxvf/pgdata.tar.gz/ 恢复即可,
以上为个人经验,希望能给大家一个参考,也希望大家多多支持毛票票。如有错误或未考虑完全的地方,望不吝赐教。