Django實(shí)現(xiàn)whoosh搜索引擎使用jieba分詞
本文介紹了Django實(shí)現(xiàn)whoosh搜索引擎使用jieba分詞,分享給大家,具體如下:
Django版本:3.0.4python包準(zhǔn)備:
pip install django-haystackpip install jieba
使用jieba分詞
1.cd到site-packages內(nèi)的haystack包,創(chuàng)建并編輯ChineseAnalyzer.py文件
# (注意:pip安裝的是django-haystack,但是實(shí)際包的文件夾名字為haystack)cd /usr/local/lib/python3.8/site-packages/haystack/backends/# 創(chuàng)建并編輯ChineseAnalyzer.py文件vim ChineseAnalyzer.py
2.修改ChineseAnalyzer.py文件內(nèi)容
import jiebafrom whoosh.analysis import Tokenizer, Tokenclass ChineseTokenizer(Tokenizer): def __call__(self, value, positions=False, chars=False, keeporiginal=False, removestops=True, start_pos=0, start_char=0, mode=’’, **kwargs): t = Token(positions, chars, removestops=removestops, mode=mode,**kwargs) seglist = jieba.cut(value, cut_all=True) for w in seglist: t.original = t.text = w t.boost = 1.0 if positions: t.pos = start_pos + value.find(w) if chars: t.startchar = start_char + value.find(w) t.endchar = start_char + value.find(w) + len(w) yield tdef ChineseAnalyzer(): return ChineseTokenizer()
3.替換分詞器
cp whoosh_backend.py whoosh_cn_backend.pyvim whoosh_cn_backend.py
# 導(dǎo)入ChineseAnalyzer,并將原有的StemmingAnalyser替換為ChineseAnalyzerfrom .ChineseAnalyzer import ChineseAnalyzer# from whoosh.analysis import StemmingAnalyzer
vim替換命令: %s/StemmingAnalyzer/ChineseAnalyzer/g
4.修改setting.py文件
# 全文搜索框架配置HAYSTACK_CONNECTIONS = { ’default’: { # 使用whoosh引擎 # ’ENGINE’: ’haystack.backends.whoosh_backend.WhooshEngine’, # 使用jieba分詞 ’ENGINE’: ’haystack.backends.whoosh_cn_backend.WhooshEngine’, # 索引文件路徑 ’PATH’: os.path.join(BASE_DIR, ’whoosh_index’), },}
5.重新建立索引
python manage.py rebuild_index
可以看到,已經(jīng)使用了jieba分詞。
到此這篇關(guān)于Django實(shí)現(xiàn)whoosh搜索引擎使用jieba分詞的文章就介紹到這了,更多相關(guān)Django jieba分詞內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. python實(shí)現(xiàn)讀取類別頻數(shù)數(shù)據(jù)畫水平條形圖案例2. python中PyQuery庫(kù)用法分享3. python操作數(shù)據(jù)庫(kù)獲取結(jié)果之fetchone和fetchall的區(qū)別說(shuō)明4. CSS可以做的幾個(gè)令你嘆為觀止的實(shí)例分享5. CSS3實(shí)現(xiàn)動(dòng)態(tài)翻牌效果 仿百度貼吧3D翻牌一次動(dòng)畫特效6. 使用css實(shí)現(xiàn)全兼容tooltip提示框7. JavaScript實(shí)現(xiàn)組件化和模塊化方法詳解8. .NET6打包部署到Windows Service的全過(guò)程9. ASP動(dòng)態(tài)網(wǎng)頁(yè)制作技術(shù)經(jīng)驗(yàn)分享10. ASP.NET MVC前臺(tái)動(dòng)態(tài)添加文本框并在后臺(tái)使用FormCollection接收值
