使用python+whoosh实现全文检索
whoosh的官方介绍:http://whoosh.readthedocs.io/en/latest/quickstart.html
因为做的是中文的全文检索需要导入jieba工具包以及whoosh工具包
直接上代码吧
fromwhoosh.qparserimportQueryParser fromwhoosh.indeximportcreate_in fromwhoosh.indeximportopen_dir fromwhoosh.fieldsimport* fromjieba.analyseimportChineseAnalyzer fromget_commentimportSQL fromwhoosh.sortingimportFieldFacet analyser=ChineseAnalyzer()#导入中文分词工具 schema=Schema(phone_name=TEXT(stored=True,analyzer=analyser),price=NUMERIC(stored=True), phoneid=ID(stored=True))#创建索引结构 ix=create_in("path",schema=schema,indexname='indexname')#path为索引创建的地址,indexname为索引名称 writer=ix.writer() writer.add_document(phone_name='name',price="price",phoneid="id")#此处为添加的内容 print("建立完成一个索引") writer.commit() #以上为建立索引的过程 new_list=[] index=open_dir("indexpath",indexname='comment')#读取建立好的索引 withindex.searcher()assearcher: parser=QueryParser("要搜索的项目,比如“phone_name",index.schema) myquery=parser.parse("搜索的关键字") facet=FieldFacet("price",reverse=True)#按序排列搜索结果 results=searcher.search(myquery,limit=None,sortedby=facet)#limit为搜索结果的限制,默认为10,详见博客开头的官方文档 forresult1inresults: print(dict(result1)) new_list.append(dict(result1))
注:
Whoosh有一些很有用的预定义fieldtypes,你也可以很easy的创建你自己的。
whoosh.fields.ID
这个类型简单地将field的值索引为一个独立单元(这意味着,他不被分成单独的单词)。这对于文件路径、URL、时间、类别等field很有益处。
whoosh.fields.STORED
这个类型和文档存储在一起,但没有被索引。这个fieldtype不可搜索。这对于你想在搜索结果中展示给用户的文档信息很有用。
whoosh.fields.KEYWORD
这个类型针对于空格或逗号间隔的关键词设计。可索引可搜索(部分存储)。为减少空间,不支持短语搜索。
whoosh.fields.TEXT
这个类型针对文档主体。存储文本及term的位置以允许短语搜索。
whoosh.fields.NUMERIC
这个类型专为数字设计,你可以存储整数或浮点数。
whoosh.fields.BOOLEAN
这个类型存储bool型
whoosh.fields.DATETIME
这个类型为datetimeobject而设计(更多详细信息)
whoosh.fields.NGRAM和whoosh.fields.NGRAMWORDS
这些类型将fiel文本和单独的term分成N-grams(更多Indexing&SearchingN-grams的信息)
以上这篇使用python+whoosh实现全文检索就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。