# ToutiaoCrawler
#### 接口示例：
2018.6.5更新 </br>
https://toutiao.com/search_content/?offset=0&format=json&keyword=手机&autoload=true&count=20&cur_tab=1&from=search_tab </br>
#### 参数说明：
keywordk:搜索的关键字 </br>
count:本页文章数量 </br>
cur_tab:当前页数 </br>
#### 调试方法：
F12选择Network/All，选择preview/data节点
#### Demo：
ToutiaoCrawler\ToutiaoCrawler\demo.py
这里可以根据需求获取文章标题、标签、内容链接
#### Demo效果以及调试示例：
***
--------------------以下为项目代码，部分接口已失效--------------------
* 需要python3.6版本</br>
* 首先安装需要的包，使用pycharm打开会自动安装 </br>
1. 创建数据库和数据表ToutiaoCrawler/toutiao.sql；配置mysql连接ToutiaoCrawler/ToutiaoCrawler/Utils/Util.py
2. 运行Crawler/get_toutiao_news_byapi.py 获取新闻列表【此接口16年开发，部分已失效】
3. 运行Crawler/get_toutiao_content_byapi.py 获取新闻内容</br>
* (到这一步数据库已经有内容了) </br>
4. 运行Analysis/levenshtein.py 计算编辑距离
5. 运行svd/svd.py 奇异值分解
6. 运行svd/test_kmeans.py 进行聚类分析和绘图
* 如果需要txt文件，执行Utils/list_to_txt.py
今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。.zip
版权申诉
34 浏览量
2023-12-30
18:10:59
上传
评论
收藏 4.11MB ZIP 举报
今日头条爬虫，主要爬取关键词搜索结果，包含编辑距离算法、奇异值分解、k-means聚类。.zip （48个子文件） 
empty_file.txt 0B
ToutiaoCrawler-master 
.gitignore 1KB ToutiaoCrawler __init__.py 0B Utils Util.py 4KB list_to_txt.py 225B svd_utils.py 1KB toutiao.sql 422B
demo2.png 93KB Model keyword.py 2KB news.py 350B Analysis levenshtein.py 1KB wsgi.py 396B Crawler __init__.py 0B get_toutiao_news_byapi.py 1KB get_toutiao_content.py 728B get_toutiao_news_bykeyword.py 2KB get_toutiao_content_byapi.py 1KB test_selenium.py 1KB test_toutiao.py 429B urls.py 761B svd data.txt 661KB scipy.py 0B k_means.py 3KB test_kmeans.py 595B test_svd.py 384B svd.py 2KB settings.py 3KB demo.py 627B demo.png 68KB svd data.txt 3.04MB sigma.txt 708B
奇异值分解.zip 742KB
sigma.xlsx 9KB
奇异值分解操作流程.docx 138KB 新闻聚类原始数据.xlsx 4.36MB mxr(3).xlsx 17KB 奇异值分解.docx 843KB 去产能 vt.txt 1.95MB u3.txt 61KB u3.xlsx 35KB keywords.xlsx 244KB keywords.txt 1.03MB u3-二维.xlsx 29KB 新建 Microsoft Excel 工作表.xlsx 23KB test.txt 947B u.txt 26KB mxr(3).txt 4KB README.md 1KB资源评论
