shell脚本实现文件锁功能
1.背景
当多个进程可能会对同样的数据执行操作时,这些进程需要保证其它进程没有在操作,以免损坏数据。通常,这样的进程会使用一个“锁文件”,也就是建立一个文件来告诉别的进程自己在运行,如果检测到那个文件存在则认为有操作同样数据的进程在工作。这样的问题是,进程不小心意外死亡了,没有清理掉那个锁文件,那么只能由用户手动来清理了。
2.关于flock
flock是对于整个文件的建议性锁。也就是说,如果一个进程在一个文件(inode)上放了锁,那么其它进程是可以知道的。(建议性锁不强求进程遵守。)最棒的一点是,它的第一个参数是文件描述符,在此文件描述符关闭时,锁会自动释放。而当进程终止时,所有的文件描述符均会被关闭。
3.shell中实现flock系统调用的命令是flock,其使用格式有以下两种(manflock)
flock[-sxon][-wtimeout]lockfile[-c]command... flock[-sxun][-wtimeout]fd
选项和参数:
-s,--shared:获取一个共享锁,在定向为某文件的FD上设置共享锁而未释放锁的时间内,其他进程试图在定向为此文件的FD上设置独占锁的请求失败,而其他进程试图在定向为此文件的FD上设置共享锁的请求会成功。
-x,-e,--exclusive:获取一个排它锁,或者称为写入锁,为默认项
-u,--unlock:手动释放锁,一般情况不必须,当FD关闭时,系统会自动解锁,此参数用于脚本命令一部分需要异步执行,一部分可以同步执行的情况。
-n,--nb,--nonblock:非阻塞模式,当获取锁失败时,返回1而不是等待
-w,--wait,--timeoutseconds:设置阻塞超时,当超过设置的秒数时,退出阻塞模式,返回1,并继续执行后面的语句
-o,--close:表示当执行command前关闭设置锁的FD,以使command的子进程不保持锁。
-c,--commandcommand:在shell中执行其后的语句
4.shell中实现排它锁避免脚本重复执行
Linux中的例行性工作排程crontab会定时执行一些脚本,但脚本的执行时间往往无法控制,当脚本执行时间过长时,可能会导致上一次任务的脚本还没执行完,下一次任务的脚本又开始执行了。这种情况下可能会出现一些并发问题,严重时会导致出现脏数据/性能瓶颈的恶性循环。
通过使用flock建立排它锁可以规避这个问题,如果一个进程对某个加了排他锁,则其它进程无法加锁,可以选择等待超时或马上返回。测试实例如下:
4.1创建执行脚本
#cat/scripts/shell/file_lock.sh #!/bin/bash #Description:testforfileflock PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin exportPATH
echo"" echo"----------------------------------"
echo"startat`date'+%Y-%m-%d%H:%M:%S'`..."
sleep140s
echo"finishedat`date'+%Y-%m-%d%H:%M:%S'`..."