Python实现单词拼写检查
这几天在翻旧代码时发现以前写的注释部分有很多单词拼写错误，这些单词错得不算离谱，应该可以用工具自动纠错绝大部分。用Python写个拼写检查脚本很容易，如果能很好利用aspell/ispell这些现成的小工具就更简单了。
要点
1、输入一个拼写错误的单词，调用aspell-a后得到一些候选正确单词，然后用距离编辑进一步嗮选出更精确的词。比如运行aspell-a，输入‘hella'后得到如下结果：
hell,Helli,hello,heal,Heall,he'll,hells,Heller,Ella,Hall,Hill,Hull,hall,heel,hill,hula,hull,Helga,Helsa,Bella,Della,Mella,Sella,fella,Halli,Hally,Hilly,Holli,Holly,hallo,hilly,holly,hullo,Hell's,hell's
2、什么是距离编辑（Edit-Distance，也叫Levenshteinalgorithm）呢？就是说给定一个单词，通过多次插入、删除、交换、替换单字符的操作后枚举出所有可能的正确拼写，比如输入‘hella'，经过多次插入、删除、交换、替换单字符的操作后变成：
‘helkla',‘hjlla',‘hylla',‘hellma',‘khella',‘iella',‘helhla',‘hellag',‘hela',‘vhella',‘hhella',‘hell',‘heglla',‘hvlla',‘hellaa',‘ghella',‘hellar',‘heslla',‘lhella',‘helpa',‘hello',…
3、综合上面2个集合的结果，并且考虑到一些理论知识可以提高拼写检查的准确度，比如一般来说写错单词都是无意的或者误打，完全错的单词可能性很小，而且单词的第一个字母一般不会拼错。所以可以在上面集合里去掉第一个字母不符合的单词，比如：'Sella',‘Mella',khella',‘iella'等，这里VPSee不删除单词，而把这些单词从队列里取出来放到队列最后（优先级降低），所以实在匹配不了以h开头的单词才去匹配那些以其他字母开头的单词。
4、程序中用到了外部工具aspell，如何在Python里捕捉外部程序的输入和输出以便在Python程序里处理这些输入和输出呢？Python2.4以后引入了subprocess模块，可以用subprocess.Popen来处理。
5、Google大牛PeterNorvig写了一篇HowtoWriteaSpellingCorrector很值得一看，大牛就是大牛，21行Python就解决拼写问题，而且还不用外部工具，只需要事先读入一个词典文件。本文程序的edits1函数就是从牛人家那里copy的。
代码
#!/usr/bin/python
#Asimplespellchecker
importos,sys,subprocess,signal
alphabet='abcdefghijklmnopqrstuvwxyz'
deffound(word,args,cwd=None,shell=True):
child=subprocess.Popen(args,
shell=shell,
stdin=subprocess.PIPE,
stdout=subprocess.PIPE,
cwd=cwd,
universal_newlines=True)
child.stdout.readline()
(stdout,stderr)=child.communicate(word)
if":"instdout:
#remove\n\n
stdout=stdout.rstrip("\n")
#removeleftpartuntil:
left,candidates=stdout.split(":",1)
candidates=candidates.split(",")
#makinganerroronthefirstletterofawordisless
#probable,soweremovethosecandidatesandappendthem
#tothetailofqueue,makethemlesspriority
foritemincandidates:
ifitem[0]!=word[0]:
candidates.remove(item)
candidates.append(item)
returncandidates
else:
returnNone
#copyfromhttp://norvig.com/spell-correct.html
defedits1(word):
n=len(word)
returnset([word[0:i]+word[i+1:]foriinrange(n)]+
[word[0:i]+word[i+1]+word[i]+word[i+2:]foriinrange(n-1)]+
[word[0:i]+c+word[i+1:]foriinrange(n)forcinalphabet]+
[word[0:i]+c+word[i:]foriinrange(n+1)forcinalphabet])
defcorrect(word):
candidates1=found(word,'aspell-a')
ifnotcandidates1:
print"nosuggestion"
return
candidates2=edits1(word)
candidates=[]
forwordincandidates1:
ifwordincandidates2:
candidates.append(word)
ifnotcandidates:
print"suggestion:%s"%candidates1[0]
else:
print"suggestion:%s"%max(candidates)
defsignal_handler(signal,frame):
sys.exit(0)
if__name__=='__main__':
signal.signal(signal.SIGINT,signal_handler)
whileTrue:
input=raw_input()
correct(input)
更简单的方法
当然直接在程序里调用相关模块最简单了，有个叫做PyEnchant的库支持拼写检查，安装PyEnchant和Enchant后就可以直接在Python程序里import了：
>>>importenchant
>>>d=enchant.Dict("en_US")
>>>d.check("Hello")
True
>>>d.check("Helo")
False
>>>d.suggest("Helo")
['Helo','He-lo','Hello','Helot','Help','Halo','Hell','Held','Helm','Hero',"He'll"]
>>>