zhihu-crawler：徒手实现定时爬取知乎，从中发掘目标的信息，并可视化爬取的数据作网页展示。项目当前正在开发，欢迎前来交...

preview
共33个文件
py：12个
html：8个
yaml：3个
redis
crawler
spider
mongodb
selenium
需积分: 14 1 下载量 156 浏览量 2021-02-04 06:02:12 上传 评论 收藏 4.19MB ZIP 举报
资源详情
资源评论
评论 收藏
起飞页
  • 粉丝: 31
  • 资源: 4543
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

相关推荐

zip

zhihu-crawler：zhihu-crawler是一个基于Java的高级，支持免费http代理池，支持横向扩展，分布式爬虫项目

知乎爬虫 zhihu-crawler是一个基于Java的高性能，支持免费的http代理池，支持横向扩展，分布式抓取爬虫项目，主要功能是抓取知乎用户，主题，问题，答案，文章等数据，如果觉得不错，请给个星。 爬取结果 下图为爬取117w知乎用户数据的简单统计 详细统计见 需要 杰克1.8 Redis mongodb 快速开始 修改zhihu/src/main/resources/applicati
zip

zhihu-hot-questions：用Go抓取的知乎热搜榜，通过GitHub Action定时更新

本文将围绕"zhihu-hot-questions"项目，深入探讨如何利用Go语言抓取和处理知乎热榜数据，并了解GitHub Action在自动化流程中的应用。 一、Go语言与网络爬虫 Go语言，又称为Golang，是由Google开发的一种静态类型、...
zip

scrapy爬取知乎用户信息

Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套高效、灵活的工具，用于爬取网站并提取结构化数据。在"scrapy爬取知乎用户信息"这个项目中，我们将探讨如何使用Scrapy来抓取知乎网站上的用户资料。知乎是...
zip

zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目.zip

这个项目的主要目标是实现对知乎网站的高效数据抓取，适用于进行大数据分析或者学术研究，同时也适合作为毕业设计的实践案例。 【描述】提到，"zhihu-crawler"已经在Window10和11环境下经过了测试，运行良好，证明...
zip

分布式爬取知乎信息 zhihu.zip

本项目采用Scrapy-Redis框架实现了一个分布式爬虫，目标是爬取知乎用户的关注列表及其关注者的粉丝信息，并将这些数据存储到MongoDB数据库中。以下是关于这个项目涉及的关键知识点的详细说明： 1. **Scrapy-Redis**...
zip

国内程序员刷题知乎-zhihu-crawler-people:知乎&&数据分析的简单分布式爬虫

zhihu-crawler-people 一个简单的分布式知乎爬虫，抓取知乎用户个人信息。 使用该爬虫做的数据分析： 该爬虫的解析： 依赖 BeautifulSoup pymongo redis requests 安装 搭建主机数据库：MongoDB + Redis。 搭建代理...
zip

ChatGPT for zhihu-1.0.3.zip

名称：ChatGPT for zhihu ---------------------------------------- 版本：1.0.3 作者：no13bus 分类：网页增强 ---------------------------------------- 概述：此插件可以根据知乎的问题得到ChatGPT的回答结果，...
zip

resemble-zhihu-app:仿知乎日报android

【标题】"resemble-zhihu-app:仿知乎日报android" 涉及的主要知识点是Android应用开发，尤其是针对知乎日报这一知名社交问答平台的界面和功能的模仿实现。在这个项目中，开发者将使用Java语言，这是Android开发的...
zip

人工智能-项目实践-用户画像-爬取知乎用户并对单个用户进行画像分析.zip

人工智能-项目实践-用户画像-爬取知乎用户并对单个用户进行画像分析 功能介绍 知乎爬虫 . └── zhihu.com ├── studyxjj └── zhihuxjj zhihuxjj一个scrapy框架写成的爬虫，配置mysql数据库后，运行main.py...
star 5星 · 资源好评率100%
zip

zhihu-zhuanlan:知乎专栏爬虫

知乎专栏爬虫 (zhihu-zhuanlan) by: bubao Created: 2017 年 04 月 28 日 20:00:44 Modified : 2019-12-2 2:16:40 知乎是一个好地方，最近有空，想把知乎上的文章爬下来，放在本地有空慢慢看。项目模仿 。 怎么用 ...
zip

zhihu-trending-hot-questions：知乎热门话题，记录从2020-11-24日开始的知乎热门话题。每小时抓取一次数据，按天压缩

【标题】：“zhihu-trending-hot-questions”是一个数据收集项目，专注于追踪知乎平台上的热门问题。这个项目从2020年11月24日开始，每小时更新一次，将每小时的热门话题数据进行记录，并按天进行打包压缩。 【描述...
zip

zhihu-trending-top-search：知乎热搜榜，记录从2020-11-24日开始的知乎热搜榜单。每小时抓取一次数据，按天压缩

"zhihu-trending-top-search"项目正是这样一个工具，它专门用于记录并分析知乎自2020年11月24日起的每日热搜榜单。该项目每小时更新一次，以确保数据的实时性和准确性，按天进行数据压缩，便于长期存储和后续研究。 ...
zip

scrapy-zhihu-github:抓取zhihu和github的不完整示例

scrapy-zhihu-github用于爬取zhihu和github的代码，数据存储于mongodb。InstallScrapy安装见。Mongodb安装在本机，数据库为zhihu，端口默认，存在以下collection：zh_user：知乎用户zh_ask：知乎问题zh_answer：知乎...
zip

Pipeline-Zhihu:是处理知乎爬取的数据。 它的目标是推荐

【Pipeline-Zhihu】是一个基于Python的项目，专注于处理从知乎网站抓取的数据，并将其用于推荐系统。在深入了解这个项目之前，我们先来了解一下“Pipeline”这个概念在数据处理中的含义。Pipeline通常指的是一个将多...
zip

zhihu-terminal:命令行版知乎

运行此项目即可以使用命令行的方式来操作知乎,功能涵盖:浏览,点赞,感谢等功能,未来将实现知乎网页端的绝大部分功能 运行环境 Python 3.7 项目在Mac OSX 10.14.5 进行开发,目前未进行Windows系统的适配 准备 建议拉取...
zip

基于selenium对知乎热搜榜进行爬虫并可视化python源码+项目说明+数据集.zip

基于selenium对知乎热搜榜进行爬虫并可视化python源码+项目说明+数据集.zip ## 1.Requirements: 打开文件夹， 在地址栏输入 %comspec% 并按回车 ![image-20200613122022518]...
zip

zhihu:zhihu是一个知乎话题内容的爬虫，可以爬取知乎所有的话题相关的问答内容

由于知乎话题的问答内容信息巨大（亿级数据量），这里只是爬取了话题广场的“阅读”话题下的所有子话题下的精华问题与回答的相关信息。 代码说明 运行环境 Windows 10 专业版 Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7...
zip

获取知乎内容信息，包括问题、答案、用户、收藏夹信息.zip

获取知乎内容信息，包括问题、答案、用户、收藏夹信息zhihu-python获取知乎信息注意本项目不再维护更新！内容介绍快速开始准备问题获取问题信息答案获取答案信息用户获取用户信息收藏获取收藏夹信息栏目获取专栏信息...
zip

zhihu-app：Laravel + Vue.js开发知乎视频

通过学习和实践这个"zhihu-app"项目，你不仅能提升Laravel和Vue.js的技能，还能了解如何将两者融合，创建一个响应式的、交互性强的Web应用，这在当前Web开发趋势中是非常有价值的。无论是对于个人技能提升还是职业...
zip

vue-zhihu-daily.zip_importantwka_vue 知乎例子_vue例子_vue案例_知乎

这个"vue-zhihu-daily.zip"文件包含了一个重要的Vue.js示例项目，它模仿了知名的在线问答社区——知乎的设计和功能。这个项目对于学习Vue.js的基础知识以及如何应用它来构建实际应用程序具有很高的价值。 首先，让...
zip

zhihu-trending-hot-video：知乎热门视频，记录从2020-11-24日开始的知乎热门视频。每小时抓取一次数据，按天压缩

"zhihu-trending-hot-video" 是一个专门用于记录知乎平台热门视频的数据集，从2020年11月24日开始，每小时进行一次数据抓取，将当天的热门视频信息整理归档，按天分压缩文件存储。这个数据集提供了一个全面了解知乎...
zip

Unofficial-Zhihu-API:深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取

Unofficial-Zhihu-API简介深度学习模型自动识别验证码，python爬虫库自动管理会话，通过简单易用的API，实现知乎数据的爬取如果大家愿意向我推荐更多的功能请发送信息到,我会添加更多的功能.博客地址:获取代码可点击...
zip

react-native-zhihu-app:用 react native 做的知乎专栏 app

总之，`react-native-zhihu-app` 是一个使用 React Native 构建的知乎专栏应用示例，展示了如何利用 JavaScript 和 React 的优点来开发跨平台的移动应用。这个项目不仅提供了学习 React Native 的机会，也是深入理解...
zip

scrapy-zhihu-user:知乎用户爬虫，使用scrapy_redis，scrapyd，gerapy等

scrapy-zhihu-user介绍毕业设计练习项目，在Python3环境下，使用scrapy借助scrapyd，scrapy_redis，gerapy等实现分布式爬取知乎用户信息，然后将信息存储在mongodb中。在本地Ubuntu16.04和阿里云Ubuntu14.04测试通过...
zip

Zhihu_Daily:Vue.js 制作的知乎_Daily Web 演示

8080npm run dev# build for production with minificationnpm run buildTipsvue-cli脚手架适配路由管理状态管理体验优化TODO 数据获取 状态管理 构建界面 体验优化 transition优化 异步加载组件参考知乎日报 API ...
zip

vue-zhihu-daily:知乎日报的一个vue2项目

vue-zhihu-daily预览项目规划VueVueXVueRouterHTTPAxiosStyleVant前端部分夜间模式大字号 两个部分组成顶部栏 (月份日期,月份小标题;知乎日报大标题加粗;最右边用户头像)当日轮播故事 (轮播图比普通图片有更高分辨率...
zip

Zhihu-Spider：一个获取知乎用户主页信息的多线程Python爬虫程序

使用Python内置的线程多线程和IP代理提升爬取速度，并绕过过知乎的反爬虫机制。 使用Python内置的查询作为消息本身。 用csv文件存储数据。 环境依赖 美丽的汤4 要求 使用方法 在项目路径下输入以安装需要的模块： ...
zip

zhihu-markdown:知乎文章 html转markdown格式

“zhihu-markdown”项目是针对那些在知乎上创作并希望将文章导出为Markdown格式的用户设计的。知乎的文章默认以富文本或HTML形式存在，而通过这个工具，用户可以方便地将这些文章转换为Markdown，便于在其他支持...