大数据项目之在线教育数仓（1用户行为采集平台）V1.0

大数据项目之在线教育数仓（用户行为采集平台）V1.0 本项目主要介绍了在线教育数仓（用户行为采集平台）的大数据项目，旨在为教育行业提供数据支持，帮助企业改进业务流程、提高产品质量等。 数据仓库概念 数据仓库（Data Warehouse）是一种用于企业决策的数据支持系统，能够帮助企业改进业务流程、提高产品质量等。数据仓库的输入数据通常包括业务数据、用户行为数据和爬虫数据等。 数据仓库类型 1. 业务数据：业务数据是指各行业在处理事务过程中产生的数据，如用户在网站中登录、下单、支付等过程中产生的数据。业务数据通常存储在 MySQL、Oracle 等数据库中。 2. 用户行为数据：用户行为数据是指用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。用户行为数据通常存储在日志文件中。 3. 爬虫数据：爬虫数据是指通过技术手段获取其他公司网站的数据。 项目需求及架构设计 本项目的需求包括采集平台搭建、业务数据采集平台搭建、离线需求、实时需求等。架构设计包括技术选型、系统数据流程设计等。 技术选型 技术选型主要考虑因素包括数据量大小、业务需求、行业内经验、技术成熟度、开发维护成本、总成本预算等。技术选型包括数据采集传输、数据存储、数据计算、数据查询、数据可视化、任务调度、集群监控、元数据管理、权限管理等。 系统数据流程设计 系统数据流程设计包括数据采集、数据传输、数据存储、数据计算、数据查询、数据可视化等步骤。 项目架构 项目架构包括Nginx、业务服务器（Springboot）、Web/App、业务数据 MySQL、Kylin、日志服务器（Springboot）、日志文件、Flume、Kafka、数据应用层 ADS、DWS、DWD、ODS 等。 数据仓库面试题 数据仓库面试题包括 Kylin 优势、项目需求、集群规模、服务器选型、框架版本选型、技术选型等。 技术细节 技术细节包括 Flume 组成、Put 事务、Take 事务、Flume 三个器、Flume 优化、Kafka 基本信息、Kafka 挂了、Kafka 丢了、Kafka 重复、Kafka 积压、有序、乱序、Kafka 高效读写、Kafka 优化等。 Zookeeper Zookeeper 部署至少三台，Zookeeper 选举机制使用 Paxos 算法。 HDFS HDFS 小文件可以使用 Har 归档、CombineTextInputformat、JVM 重用等方法解决。 DataX DataX 遇到空值问题，可以使用空值处理函数解决。 Superset Superset 有很多优势，包括快速开发、灵活的数据模型、可扩展的架构等。 DolphinScheduler DolphinScheduler 可以每天执行多个指标，可以挂在多个节点上。 Atlas Atlas 框架原理是使用metadata管理，能够解决表、字段问题。 Ranger Ranger 版本问题可以使用最新版本解决，能够解决表、字段问题。 本项目旨在帮助教育行业提供数据支持，提高企业业务流程和产品质量。