文本分析

很多时候,我们会去统计一片文章中的高频词汇,以此来作为文章的关键词条,那么词频分析在python中,该用什么模块做?jieba!
第一次听到这个词就乐了,一个**“结巴”,帮助我们统计词频…但仔细了解这个模块后,你会发现它的强大。怎么证明?来看看github。

19K的star,5000+fork你就知道它多受欢迎了!让我们先来学学jieba**。

jieba介绍

jieba的github上readme写的非常详细,如果大家喜欢可以去仔细学习:jieba gihub地址。这里挑我们代码需要用到的地方讲解下…
安装: pip install jieba
以下内容引用自jieba github

“结巴”中文分词:做最好的 Python 中文分词组件

分词

  • jieba.cut 方法接受三个输入参数: 需要分词的字符串;cut_all 参数用来控制是否采用全模式;HMM 参数用来控制是否使用 HMM 模型
  • jieba.cut_for_search 方法接受两个参数:需要分词的字符串;是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词,粒度比较细
  • 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意:不建议直接输入 GBK 字符串,可能无法预料地错误解码成 UTF-8
  • jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator,可以使用 for 循环来获得分词后得到的每一个词语(unicode),或者用
  • jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
  • jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器,可用于同时使用不同词典。jieba.dt 为默认分词器,所有全局分词相关函数都是该分词器的映射。
代码示例

# encoding=utf-8
import jieba

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))
输出:

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

【新词识别】:他, 来到, 了, 网易, 杭研, 大厦    (此处,“杭研”并没有在词典中,但是也被Viterbi算法识别出来了)

【搜索引擎模式】: 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

设置解析词语

add_word(word, freq=None, tag=None) 添加词语
比如上面的实力,我们想将中国科学院作为一个整体让jieba分析,那么我们可以jieba.add_word(‘中国科学院’)

jieba.load_userdict(file_name) 用户可以自定义分词字典
如果我们有成套的字典来提升词语识别,可以创建一个文本,将这些词语存储在文本中。具体格式如下:

词语、词频(可省略)、词性(可省略)
创新办 3 i
计算 5
凱特琳 nz
台中

关键字抽取

刚才看到分词,不管我们是使用哪种方式,最终获得的都是迭代器或者的表,那我们如果想无脑输出词频权重较高的top多少次,如何做?
使用import jieba.analyse

import jieba.analyse

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20
withWeight 为是否一并返回关键词权重值,默认值为 False
allowPOS 仅包括指定词性的词,默认值为空,即不筛选
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例,idf_path 为 IDF 频率文件

但这种统计过于无脑,更多的情况下,还是要我们自己来配置…

分析什么?

说过了如何分词,获取词频。可我们没有数据,到底该分析什么?分析python书籍未免太过逗比,所以嘛还是分析点有意思的东西吧!前几天看新闻中国的玄幻小说,在老外的眼里简直就是至宝,什么掉下悬崖捡宝、穿越远古修仙、犀利哥重生附身,在我们看来俗到掉渣的剧情,老外看到都觉得是神来之笔!那么今天我们就来分析一部修仙小说吧…个人比较喜欢净无痕的书,绝世武神、太古神王到如今的伏天氏。但最近感觉写的越来越水。所以今天我们就来分析太古神王这部小说吧,貌似它已经拍成电视剧了。怎么获取全本内容?之前写的文章使用Python开发小说下载器,不再为下载小说而发愁就派上用场了,2000+章的小说全本下载。话说刚开始用写好的工具是,平均1秒3章,最近很多朋友反馈工具很慢,进来自己用了下两三秒才一章,难道跟我有关系?还是收敛点的好…边写着文章,手机边下载着,总算完了:

å°è¯´ä¸è½½

那分析什么内容呢,太古神王里面有两个女主叶倾城、长青青儿。那么秦问天到底更爱谁?让我们看看她俩的出场频率吧…

代码实现

只统计主角和两个女主,有些太过无趣,所以咱们多统计点词汇给50个吧…看看会有哪些:
 

# -*- coding: utf-8 -*-
# @Author   : 王翔
# @JianShu  : 清风Python
# @Date     : 2019/7/24 2:23
# @Software : PyCharm
# @version  :Python 3.7.3
# @File     : DearestGirl.py
import jieba


class DearestGirl:
    ROLES = "秦问天 倾城 青儿"

    def __init__(self):
        self.result = dict()

    def add_key_word(self):
        for user in self.ROLES.split():
            jieba.add_word(user)

    def cut_word(self):
        data = open("太古神王全本.txt", encoding='utf-8').read()
        jieba_cut = jieba.cut(data)
        for word in jieba_cut:
            if word not in self.ROLES.split():
                continue
            else:
                self.result[word] = self.result.get(word, 0) + 1

    def sort_words(self):
        print(sorted(self.result.items(), key=lambda x: x[1], reverse=True))


if __name__ == '__main__':
    main = DearestGirl()
    main.add_key_word()
    main.cut_word()
    main.sort_words()


output:
[('秦问天', 35182), ('倾城', 2085), ('青儿', 2028)]

这就懵逼了,这俩女主居然词频这相近,可再看看男主的词频…有一个问题呼之欲出,这部小说是一部男主自恋的小说,他最爱的是自己!通篇都是他…哈哈。
那么这样就完了?不行不行,既然词频都出来了,顺带生成一下词云呗…

wordcloud

今天上班苗妹子还问到了关于这个模块,当然得用用了…
最终代码如下:
 

# -*- coding: utf-8 -*-
# @Author   : 王翔
# @JianShu  : 清风Python
# @Date     : 2019/7/24 2:23
# @Software : PyCharm
# @version  :Python 3.7.3
# @File     : DearestGirl.py
import jieba
from wordcloud import WordCloud, ImageColorGenerator, STOPWORDS
import numpy as np
from PIL import Image


class DearestGirl:
    ROLES = "秦问天 倾城 青儿"

    def __init__(self):
        self.result = dict()

    def add_key_word(self):
        for user in self.ROLES.split():
            jieba.add_word(user)

    def cut_word(self):
        data = open("太古神王全本.txt", encoding='utf-8').read()
        jieba_cut = jieba.cut(data)
        for word in jieba_cut:
            if word not in self.ROLES.split():
                continue
            else:
                self.result[word] = self.result.get(word, 0) + 1

    def sort_words(self):
        print(sorted(self.result.items(), key=lambda x: x[1], reverse=True))

    def word_cloud(self):
        mask = np.array(Image.open('bk.png'))
        wc = WordCloud(
            font_path='C:/Windows/Fonts/simhei.ttf',  # 设置字体格式
            mask=mask,
            max_words=200,
            max_font_size=100
        )
        wc.generate_from_frequencies(self.result)
        image_colors = ImageColorGenerator(mask)
        wc.recolor(color_func=image_colors)
        wc.to_file('result.jpg')


if __name__ == '__main__':
    main = DearestGirl()
    main.add_key_word()
    main.cut_word()
    main.sort_words()

è¯äº

The End

OK,今天的内容就到这里,如果觉得内容对你有所帮助,欢迎点击文章右下角的“在看”。
期待你关注我的公众号**清风Python**,如果你觉得不错,希望能动动手指转发给你身边的朋友们。

 来源:华为云社区征文 作者:清风Python

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐