利用Node.js如何实现文件循环覆写
前言
这次编写Node.js项目的时候用到了日志模块，其中碰到了一个小问题。
这是一个定时执行可配置自动化任务的项目，所以输出信息会不断增加，也就意味着日志文件会随时间不断增大。如果对日志文件大小不加以控制，那么服务器的磁盘迟早会被撑满。所以限制文件大小是有必要的。
最理想的控制方式就是当文件大小超过限制时，清除最先记录的数据。类似一个FIFO的队列。
#删除前面的数据 -1xxx ...... 100abc #文件末尾追加数据 +101xxxx
log4js的filerolling
一提到记录日志很多Node.js开发者肯定会找到log4js，先来看看log4js是怎么处理这个问题的。
log4js分为很多appenders（可以理解为记录日志的媒介），filerolling功能可以通过函数来进行配置。
filerolling功能有两种方式：日期和文件大小。
要控制文件大小，当然选择后者。
为了测试这个功能是否满足我们要求，写一段循环代码来写日志。
constlog4js=require('log4js')
//配置log4js
log4js.configure({
appenders:{
everything:{
type:'file',
filename:'a.log',
maxLogSize:1000,
backups:0
},
},
categories:{
default:{
appenders:['everything'],
level:'debug'
}
}
});
constlog=log4js.getLogger();
for(leti=0;i<41;i++){
conststr=i.toString().padStart(6,'000000');
log.debug(str);
}
执行之后生成两个文件a.log和a.log.1。
其中a.log.1有20行数据，实际大小1kb，a.log只有1行数据。
虽然确实控制了文件大小，但是会带来两个问题：
- 额外产生一个备份文件，总占用磁盘空间会超过文件限制。
- 日志文件内容的大小是变动的，查询日志的时候很可能需要联合备份文件进行查询（比如上面的情况日志文件只有1行数据）。
推测log4js的实现逻辑可能是下面这样：
- 检查日志文件是否达到限制大小，如果达到则删除备份文件，否则继续写入日志文件。
- 重命名日志文件为备份文件。
这显然不能完全满足需求。
字符串替换？
如果要在内存中完成循环覆写操作就比较简单了，使用字符串或Buffer的即可完成。
- 添加字符串/Buffer长度，如果超过大小则截取。
- 写入并覆盖日志文件。
但是有一个很大的问题：占用内存。
比如限制文件大小为1GB，有10个日志文件同时写入，那么至少占用10GB内存空间！
内存可是比磁盘空间更宝贵的，如此明显的性能问题，显然也不是最优解决方式。
fileroll
按照需求可以把实现步骤拆成两步：
- 追加最新的数据到文件末尾。（Node.js的fs模块有相应函数）
- 删除文件开头超出限制部分。（Node.js没有响应函数）
这两步不分先后顺序，但是Node.js没有提供API来删除文件开头部分，只提供了修改文件指定位置的函数。
既然无法删除文件开头部分内容，那么我们就换个思路，只保留文件末尾部分内容（不超出大小限制）。
什么？这不是一个意思么？
略有区别~
删除是在原有文件上进行的操作，而保留内容可以借助临时文件来进行操作。
所以思路变成：
- 创建一个临时文件，临时文件的内容来自于日志文件。
- 往临时文件中增加数据。
- 将临时文件中符合文件大小限制的内容，从后往前（采取偏移量的形式）进行读取并复制到日志文件进行覆盖。
- 为了不占用额外的磁盘空间，写操作完成后删除临时文件。
这样就不会出现像log4js一样日志文件内容不全的现象，也不会保留额外的临时文件。但是对IO的操作会增加~
对于写操作可以采取tail命令来实现，最终实现代码如下：
privatewrite(name:string,buf?:Buffer|string){
//appendbuftotmpfile
consttmpName=name.replace(/(.*\/)(.*$)/,'$1_\.$2\.tmp');
if(!existsSync(tmpName)){
copyFileSync(name,tmpName);
}
buf&&appendFileSync(tmpName,buf);
//ifbusy,wait
if(this.stream&&this.stream.readable){
this.needUpdateLogFile[name]=true;
}else{
try{
execSync(`tail-c${limit}${tmpName}>${name}`);
try{
if(this.needUpdateLogFile[name]){
this.needUpdateLogFile[name]=false;
this.write(name);
}else{
existsSync(tmpName)&&unlinkSync(tmpName);
}
}catch(e){
console.error(e);
}
}catch(e){
console.error(e);
}
}
}
总结
完成这个功能有两点感悟：
- 量变引起质变。当数据量变大时，很多简单的处理方式就不可以用了，比如写文件，如果直接使用writeFile会占用大量内存甚至有可能内存都不够用。所以要通过合适的方式进行拆分，拆分过程中又会碰到各种问题，比如本文中截取文件内容的要求。
- 学会借力。君子性非异也善假于物也~当无法在单个点完成操作的时候可以借助外部条件来实现，比如在本文中使用临时文件来保存数据内容。
好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对毛票票的支持。