python机器学习库常用汇总
59 浏览量
2021-01-21
17:33:18
上传
评论 1
收藏 114KB PDF 举报
python机器学习库常用汇总机器学习库常用汇总
汇总整理一套Python网页爬虫，文本处理，科学计算，机器学习和数据挖掘的兵器谱。
1. Python网页爬虫工具集网页爬虫工具集
一个真实的项目，一定是从获取数据开始的。无论文本处理，机器学习和数据挖掘，都需要数据，除了通过一些渠道购买或者
下载的专业数据外，常常需要大家自己动手爬数据，这个时候，爬虫就显得格外重要了，幸好，Python提供了一批很不错的
网页爬虫工具框架，既能爬取数据，也能获取和清洗数据，也就从这里开始了：
1.1 Scrapy
鼎鼎大名的Scrapy，相信不少同学都有耳闻，课程图谱中的很多课程都是依靠Scrapy抓去的，这方面的介绍文章有很多，推
荐大牛pluskid早年的一篇文章：《Scrapy 轻松定制网络爬虫》，历久弥新。
官方主页：http://scrapy.org/
Github代码页: https://github.com/scrapy/scrapy
1.2 Beautiful Soup
客观的说，Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML / XML数据分析，清洗和获取工具。
官方主页：http://www.crummy.com/software/BeautifulSoup/
1.3 Python-Goose
Goose最早是用Java写得，后来用Scala重写，是一个Scala项目。Python-Goose用Python重写，依赖了Beautiful Soup。前
段时间用过，感觉很不错，给定一个文章的URL, 获取文章的标题和内容很方便。
Github主页：https://github.com/grangier/python-goose
2. Python文本处理工具集文本处理工具集
从网页上获取文本数据之后，依据任务的不同，就需要进行基本的文本处理了，譬如对于英文来说，需要基本的tokenize，对
于中文，则需要常见的中文分词，进一步的话，无论英文中文，还可以词性标注，句法分析，关键词提取，文本分类，情感分
析等等。这个方面，特别是面向英文领域，有很多优秀的工具包，我们一一道来。
2.1 NLTK — Natural Language Toolkit
搞自然语言处理的同学应该没有人不知道NLTK吧，这里也就不多说了。不过推荐两本书籍给刚刚接触NLTK或者需要详细了
解NLTK的同学: 一个是官方的《Natural Language Processing with Python》，以介绍NLTK里的功能用法为主，同时附带一
些Python知识，同时国内陈涛同学友情翻译了一个中文版，这里可以看到：推荐《用Python进行自然语言处理》中文翻译-
NLTK配套书；另外一本是《Python Text Processing with NLTK 2.0 Cookbook》，这本书要深入一些，会涉及到NLTK的代
码结构，同时会介绍如何定制自己的语料和模型等，相当不错。
官方主页：http://www.nltk.org/
Github代码页：https://github.com/nltk/nltk
2.2 Pattern
Pattern由比利时安特卫普大学CLiPS实验室出品，客观的说，Pattern不仅仅是一套文本处理工具，它更是一套web数据挖掘
工具，囊括了数据抓取模块（包括Google, Twitter, 维基百科的API，以及爬虫和HTML分析器），文本处理模块（词性标注，
情感分析等），机器学习模块(VSM, 聚类，SVM）以及可视化模块等，可以说，Pattern的这一整套逻辑也是这篇文章的组织
逻辑，不过这里我们暂且把Pattern放到文本处理部分。我个人主要使用的是它的英文处理模块Pattern.en, 有很多很不错的文
本处理功能，包括基础的tokenize, 词性标注，句子切分，语法检查，拼写纠错，情感分析，句法分析等，相当不错。
官方主页：http://www.clips.ua.ac.be/pattern
2.3 TextBlob: Simplified Text Processing
TextBlob是一个很有意思的Python文本处理工具包，它其实是基于上面两个Python工具包NLKT和Pattern做了封装（TextBlob
stands on the giant shoulders of NLTK and pattern, and plays nicely with both），同时提供了很多文本处理功能的接口，包
括词性标注，名词短语提取，情感分析，文本分类，拼写检查等，甚至包括翻译和语言检测，不过这个是基于Google的API
的，有调用次数限制。TextBlob相对比较年轻，有兴趣的同学可以关注。
官方主页：http://textblob.readthedocs.org/en/dev/
Github代码页：https://github.com/sloria/textblob
2.4 MBSP for Python
MBSP与Pattern同源，同出自比利时安特卫普大学CLiPS实验室，提供了Word Tokenization, 句子切分，词性标
评论0
最新资源