python TF-IDF算法实现文本关键词提取
TF(TermFrequency)词频,在文章中出现次数最多的词,然而文章中出现次数较多的词并不一定就是关键词,比如常见的对文章本身并没有多大意义的停用词。所以我们需要一个重要性调整系数来衡量一个词是不是常见词。该权重为IDF(InverseDocumentFrequency)逆文档频率,它的大小与一个词的常见程度成反比。在我们得到词频(TF)和逆文档频率(IDF)以后,将两个值相乘,即可得到一个词的TF-IDF值,某个词对文章的重要性越高,其TF-IDF值就越大,所以排在最前面的几个词就是文章的关键词。
TF-IDF算法的优点是简单快速,结果比较符合实际情况,但是单纯以“词频”衡量一个词的重要性,不够全面,有时候重要的词可能出现的次数并不多,而且这种算法无法体现词的位置信息,出现位置靠前的词和出现位置靠后的词,都被视为同样重要,是不合理的。
TF-IDF算法步骤:
(1)、计算词频:
词频=某个词在文章中出现的次数
考虑到文章有长短之分,考虑到不同文章之间的比较,将词频进行标准化
词频=某个词在文章中出现的次数/文章的总词数
词频=某个词在文章中出现的次数/该文出现次数最多的词出现的次数
(2)、计算逆文档频率
需要一个语料库(corpus)来模拟语言的使用环境。
逆文档频率=log(语料库的文档总数/(包含该词的文档数+1))
(3)、计算TF-IDF
TF-IDF=词频(TF)*逆文档频率(IDF)
详细代码如下:
#!/usr/bin/envpython #-*-coding:utf-8-*- ''' 计算文档的TF-IDF ''' importcodecs importos importmath importshutil #读取文本文件 defreadtxt(path): withcodecs.open(path,"r",encoding="utf-8")asf: content=f.read().strip() returncontent #统计词频 defcount_word(content): word_dic={} words_list=content.split("/") del_word=["\r\n","/s","","/n"] forwordinwords_list: ifwordnotindel_word: ifwordinword_dic: word_dic[word]=word_dic[word]+1 else: word_dic[word]=1 returnword_dic #遍历文件夹 deffunfolder(path): filesArray=[] forroot,dirs,filesinos.walk(path): forfileinfiles: each_file=str(root+"//"+file) filesArray.append(each_file) returnfilesArray #计算TF-IDF defcount_tfidf(word_dic,words_dic,files_Array): word_idf={} word_tfidf={} num_files=len(files_Array) forwordinword_dic: forwordsinwords_dic: ifwordinwords: ifwordinword_idf: word_idf[word]=word_idf[word]+1 else: word_idf[word]=1 forkey,valueinword_dic.items(): ifkey!="": word_tfidf[key]=value*math.log(num_files/(word_idf[key]+1)) #降序排序 values_list=sorted(word_tfidf.items(),key=lambdaitem:item[1],reverse=True) returnvalues_list #新建文件夹 defbuildfolder(path): ifos.path.exists(path): shutil.rmtree(path) os.makedirs(path) print("成功创建文件夹!") #写入文件 defout_file(path,content_list): withcodecs.open(path,"a",encoding="utf-8")asf: forcontentincontent_list: f.write(str(content[0])+":"+str(content[1])+"\r\n") print("welldone!") defmain(): #遍历文件夹 folder_path=r"分词结果" files_array=funfolder(folder_path) #生成语料库 files_dic=[] forfile_pathinfiles_array: file=readtxt(file_path) word_dic=count_word(file) files_dic.append(word_dic) #新建文件夹 new_folder=r"tfidf计算结果" buildfolder(new_folder) #计算tf-idf,并将结果存入txt i=0 forfileinfiles_dic: tf_idf=count_tfidf(file,files_dic,files_array) files_path=files_array[i].split("//") #print(files_path) outfile_name=files_path[1] #print(outfile_name) out_path=r"%s//%s_tfidf.txt"%(new_folder,outfile_name) out_file(out_path,tf_idf) i=i+1 if__name__=='__main__': main()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。