5.2_数据分析1

数据分析基础 本章节主要介绍了在 Scrapy-Redis 架构上使用爬虫爬取数据，并将其存储在 Nosql 类型的 Mongodb 数据库中，然后对数据进行简单的分析。下面将对其中的知识点进行详细的解释： 1. 数据爬取：在 Scrapy-Redis 架构上使用爬虫爬取数据，这其中涉及到爬虫的架构设计、爬虫的运行机制等知识点。在爬取数据时，需要注意爬虫的速度、爬虫的暂停和继续功能等问题。 2. 数据存储：在 Mongodb 数据库中存储爬取的数据，这其中涉及到 Mongodb 的基本概念、Mongodb 的数据模型、Mongodb 的查询语言等知识点。在存储数据时，需要注意数据的组织结构、数据的可扩展性等问题。 3. 数据分析：在 Mongodb 数据库中对爬取的数据进行简单的分析，这其中涉及到 Mongodb 的查询语言、Mongodb 的聚合框架等知识点。在分析数据时，需要注意数据的统计分析、数据的可视化等问题。 4. 数据可视化：在 MongoBooster 中对爬取的数据进行可视化，这其中涉及到数据可视化的基本概念、数据可视化的工具等知识点。在可视化数据时，需要注意数据的展示方式、数据的交互方式等问题。 5. SQL 语句：在 Mongodb 中使用 SQL 语句进行数据查询，这其中涉及到 Mongodb 的查询语言、Mongodb 的 indexes 等知识点。在使用 SQL 语句时，需要注意语句的写法、语句的优化等问题。 6. 数据导入导出：在 Mongodb 中使用 mongoexport 和 mongoimport 工具对数据进行导入导出，这其中涉及到 Mongodb 的导入导出机制、Mongodb 的数据格式等知识点。在导入导出数据时，需要注意数据的格式、数据的大小等问题。 本章节主要对数据分析的基本概念和技术进行了介绍，包括数据爬取、数据存储、数据分析、数据可视化和数据导入导出等知识点。