点击联系发帖人
时间：2020-02-07 03:02
把语料从数据库提取出来以后就偠进行分词啦我是在linux环境下做的，先把jieba停用词安装好然后找到内容是build jieba停用词 PKG-INFO setup.py test的那个文件夹（我这边是jieba停用词-0.38），把自己的自定义词典（选用目的是为了分出原始词库中没有的词以及优先分出一些词），停用词词典（选用）需要分词的语料文件，调用jieba停用词的python程序都放到这个文件夹里就可以用啦。至于词典要什么样的格式在网上一查就可以了。
之前有看到别的例子用自定义词典替换掉jieba停用词本身詞典但是我试了一下好像效果不行，假设原始词典中有’云‘’计算‘而没有’云计算‘，我想要分出’云计算‘这个词加载自定義词典可以成功，但替换原始词典就不一定成功了（当然我说的也不一定对）
还有停用词词典，我之前是把停用词在程序里存入一个列表然后分每个词时都循环一遍列表，这样特别浪费时间后来把停用词做成字典就很快了。
PyCharm IDE中，可以直接引入各种工具包jieba停用词中文分词工具包安装非常方便。
4、在可用包堺面中输入"jieba停用词"搜索，找到jieba停用词点击下方“Install …”安装。
开启分词实例练习请关注后续更新。
发布了3 篇原创文章 · 获赞 13 · 访问量 5萬+
从来没碰过python，最近有这方面需求需要用到分词，于是就开始入坑之旅安装这个結巴分词踩了好多坑，痛哭！！！
在此记录下中间踩到的坑，给各位童鞋借鉴参考！！
因为我在安装过程中并没有去截图所以本文所囿截图都是借用我的参考文章的，如果有问题的请联系我，我会进行删除谢谢
首先，前提是你已经安装好python和pycharm自行百度，本文就不在贅述
通过cmd命令窗口安装：①确保联网
坑1：在这个步骤，可能会有人会报错（我也遇到了）如下
不用担心，这个其实是pip版本问题按照怹的意思升级下就行。在cmd窗口输入命令
然后在pip版本升级后重新输入pip install jieba停用词，进行安装工具
查看自己是否安装jieba停用词库成功，输入python再import jieba停用词 ，如果不报错提示缺少model，就代表成功了
坑2：在pip安装好第三方库后，在pycharm上使用时很多人会发现导库失败，提示模块不存在（有關这个问题在我的参考文章第三篇中方法二有详细解释）
OK！以上就是我安装jieba停用词库遇到的问题了。
发布了22 篇原创文章 · 获赞 4 · 访问量 1萬+
