20220902
王钟
1.联通经营分析系统
2.P&G 宝洁做数据仓库
3.人行上报
ETL 数据工程师
爬虫
爬虫的认知
爬虫的历史
门户网站 新浪，网易
用户查看信息是比较被动
爬虫最初就来生成搜索引擎索引数据库
推荐系统
常规的数据分析工作包含哪些内容？
数据分析包括可视化分析，数据挖掘算法，预测性分析能力，
语义引擎，数据质量和数据管理
数据分析的常规流程：
1. 确定分析目标 --》 菜品大致印象
2. 数据采集 --> 去超市采购
3. 数据清洗 --》洗菜，理菜
4. 数据分析 --》做菜
5. 数据可视化 --》拍照
数据采集的不同方式
1.公司内部
1.埋点：用户浏览或者点击等操作的日志数据 mongoda redis nosql
2.各大业务系统：业务系统保留下来的商业数据 mysql oracle sqlserver
2.公司外部
1.爬虫：采集公司外部的网站数据
2.第三方数据公司
数据行业的职位划分
1. ETL+数仓：更贴近大数据的范畴
2. 模型算法（算法工程师）：
3. 计算模型（数据分析师）
评论0
最新资源