java利用DFA算法实现敏感词过滤功能
前言
敏感词过滤应该是不用给大家过多的解释吧?讲白了就是你在项目中输入某些字(比如输入xxoo相关的文字时)时要能检
测出来,很多项目中都会有一个敏感词管理模块,在敏感词管理模块中你可以加入敏感词,然后根据加入的敏感词去过滤输
入内容中的敏感词并进行相应的处理,要么提示,要么高亮显示,要么直接替换成其它的文字或者符号代替。
敏感词过滤的做法有很多,我简单描述我现在理解的几种:
①查询数据库当中的敏感词,循环每一个敏感词,然后去输入的文本中从头到尾搜索一遍,看是否存在此敏感词,有则做相
应的处理,这种方式讲白了就是找到一个处理一个。
优点:soeasy。用java代码实现基本没什么难度。
缺点:这效率让我心中奔过十万匹草泥马,而且匹配的是不是有些蛋疼,如果是英文时你会发现一个很无语的事情,比如英文
a是敏感词,那我如果是一篇英文文档,那程序它妹的得处理多少次敏感词?谁能告诉我?
②传说中的DFA算法(有穷自动机),也正是我要给大家分享的,毕竟感觉比较通用,算法的原理希望大家能够自己去网上查查
资料,这里就不详细说明了。
优点:至少比上面那sb效率高点。
缺点:对于学过算法的应该不难,对于没学过算法的用起来也不难,就是理解起来有点gg疼,匹配效率也不高,比较耗费内存,
敏感词越多,内存占用的就越大。
③第三种在这里要特别说明一下,那就是你自己去写一个算法吧,或者在现有的算法的基础上去优化,这也是追求的至高境界之一。
那么,传说中的DFA算法是怎么实现的呢?
第一步:敏感词库初始化(将敏感词用DFA算法的原理封装到敏感词库中,敏感词库采用HashMap保存),代码如下:
packagecom.cfwx.rox.web.sysmgr.util; importjava.util.HashMap; importjava.util.HashSet; importjava.util.Iterator; importjava.util.List; importjava.util.Map; importjava.util.Set; importcom.cfwx.rox.web.common.model.entity.SensitiveWord; /** *敏感词库初始化 * *@authorAlanLee * */ publicclassSensitiveWordInit { /** *敏感词库 */ publicHashMapsensitiveWordMap; /** *初始化敏感词 * *@return */ publicMapinitKeyWord(ListsensitiveWords) { try { //从敏感词集合对象中取出敏感词并封装到Set集合中 Set keyWordSet=newHashSet (); for(SensitiveWords:sensitiveWords) { keyWordSet.add(s.getContent().trim()); } //将敏感词库加入到HashMap中 addSensitiveWordToHashMap(keyWordSet); } catch(Exceptione) { e.printStackTrace(); } returnsensitiveWordMap; } /** *封装敏感词库 * *@paramkeyWordSet */ @SuppressWarnings("rawtypes") privatevoidaddSensitiveWordToHashMap(Set keyWordSet) { //初始化HashMap对象并控制容器的大小 sensitiveWordMap=newHashMap(keyWordSet.size()); //敏感词 Stringkey=null; //用来按照相应的格式保存敏感词库数据 MapnowMap=null; //用来辅助构建敏感词库 Map newWorMap=null; //使用一个迭代器来循环敏感词集合 Iterator iterator=keyWordSet.iterator(); while(iterator.hasNext()) { key=iterator.next(); //等于敏感词库,HashMap对象在内存中占用的是同一个地址,所以此nowMap对象的变化,sensitiveWordMap对象也会跟着改变 nowMap=sensitiveWordMap; for(inti=0;i (); newWorMap.put("isEnd","0"); nowMap.put(keyChar,newWorMap); nowMap=newWorMap; } //如果该字是当前敏感词的最后一个字,则标识为结尾字 if(i==key.length()-1) { nowMap.put("isEnd","1"); } System.out.println("封装敏感词库过程:"+sensitiveWordMap); } System.out.println("查看敏感词库数据:"+sensitiveWordMap); } } }
第二步:写一个敏感词过滤工具类,里面可以写上自己需要的方法,代码如下:
packagecom.cfwx.rox.web.sysmgr.util; importjava.util.HashSet; importjava.util.Iterator; importjava.util.Map; importjava.util.Set; /** *敏感词过滤工具类 * *@authorAlanLee * */ publicclassSensitivewordEngine { /** *敏感词库 */ publicstaticMapsensitiveWordMap=null; /** *只过滤最小敏感词 */ publicstaticintminMatchTYpe=1; /** *过滤所有敏感词 */ publicstaticintmaxMatchType=2; /** *敏感词库敏感词数量 * *@return */ publicstaticintgetWordSize() { if(SensitivewordEngine.sensitiveWordMap==null) { return0; } returnSensitivewordEngine.sensitiveWordMap.size(); } /** *是否包含敏感词 * *@paramtxt *@parammatchType *@return */ publicstaticbooleanisContaintSensitiveWord(Stringtxt,intmatchType) { booleanflag=false; for(inti=0;i0) { flag=true; } } returnflag; } /** *获取敏感词内容 * *@paramtxt *@parammatchType *@return敏感词内容 */ publicstaticSet getSensitiveWord(Stringtxt,intmatchType) { Set sensitiveWordList=newHashSet (); for(inti=0;i 0) { //将检测出的敏感词保存到集合中 sensitiveWordList.add(txt.substring(i,i+length)); i=i+length-1; } } returnsensitiveWordList; } /** *替换敏感词 * *@paramtxt *@parammatchType *@paramreplaceChar *@return */ publicstaticStringreplaceSensitiveWord(Stringtxt,intmatchType,StringreplaceChar) { StringresultTxt=txt; Set set=getSensitiveWord(txt,matchType); Iterator iterator=set.iterator(); Stringword=null; StringreplaceString=null; while(iterator.hasNext()) { word=iterator.next(); replaceString=getReplaceChars(replaceChar,word.length()); resultTxt=resultTxt.replaceAll(word,replaceString); } returnresultTxt; } /** *替换敏感词内容 * *@paramreplaceChar *@paramlength *@return */ privatestaticStringgetReplaceChars(StringreplaceChar,intlength) { StringresultReplace=replaceChar; for(inti=1;i 第三步:一切都准备就绪,当然是查询好数据库当中的敏感词,并且开始过滤咯,代码如下:
@SuppressWarnings("rawtypes") @Override publicSetsensitiveWordFiltering(Stringtext) { //初始化敏感词库对象 SensitiveWordInitsensitiveWordInit=newSensitiveWordInit(); //从数据库中获取敏感词对象集合(调用的方法来自Dao层,此方法是service层的实现类) List sensitiveWords=sensitiveWordDao.getSensitiveWordListAll(); //构建敏感词库 MapsensitiveWordMap=sensitiveWordInit.initKeyWord(sensitiveWords); //传入SensitivewordEngine类中的敏感词库 SensitivewordEngine.sensitiveWordMap=sensitiveWordMap; //得到敏感词有哪些,传入2表示获取所有敏感词 Set set=SensitivewordEngine.getSensitiveWord(text,2); returnset; } 最后一步:在Controller层写一个方法给前端请求,前端获取到需要的数据并进行相应的处理,代码如下:
/** *敏感词过滤 * *@paramtext *@return */ @RequestMapping(value="/word/filter") @ResponseBody publicRespVosensitiveWordFiltering(Stringtext) { RespVorespVo=newRespVo(); try { Setset=sensitiveWordService.sensitiveWordFiltering(text); respVo.setResult(set); } catch(Exceptione) { thrownewRoxException("过滤敏感词出错,请联系维护人员"); } returnrespVo; } 总结
以上就是这篇文章的全部内容了,代码中写了不少的注释,大家可以动动自己的脑筋好好的理解一下。希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对毛票票的支持。