Python新闻标题挖掘小项目

《用 Python 玩转数据》项目—新闻标题内容挖掘

一、背景

新闻标题是新闻的主旨，从新闻标题中可以进行多种内容的挖掘，例如可以爬取一定时

间段内的新闻进行分析获得热点词。新浪各地新闻中的新闻标题形式如下：

 向飞机撒硬币老太被处拘留 5 日 因年龄不予执行(06 月 28 日 20:18)

 亚投行副行长:来中国一年半口袋已“没有”现金(06 月 28 日 20:13)

 张德江与澳大利亚众议长举行会谈(06 月 28 日 19:54)

二、算法

以获取一定时间段内新闻标题中的热点词并绘制词云为例，该算法的主要步骤如下：

巴分词）

逐行用 jieba 分词，单行分词的代码如下：

word_list = pseg.cut(subject)

3. 去除停用词

很多如“的”和“我们”这样的功能词对于主题分析并无帮助，因此需要使用停用

词表进行词的过滤

代码如下：

stop_words = set(line.strip() for line in open('stopwords.txt', encoding='utf-8'))

4. 选择名词

jieba 中的词性标签使用了传统方式，例如"n"是名词，“a”是形容词，“v”是动词等。

将所有的名词直接作为 WordCloud()函数的参数，默认 WordCloud 内部通过统计词

频对词进行排序

代码如下：

content = ' '.join(newslist)

wordcloud = WordCloud(font_path='simhei.ttf', background_color="grey",