安然数据集数据分析思路1
需积分: 0 52 浏览量
2022-08-04
15:56:51
上传
评论
收藏 249KB PDF 举报
优达学城数据分析师纳米学位项目 P5
安然提交开放式问题
1. 向我们总结此项目的目标以及机器学习对于实现此目标有何帮助。作为答案的部分，提
供一些数据集背景信息以及这些信息如何用于回答项目问题。你在获得数据时它们是否
包含任何异常值，你是如何进行处理的？【相关标准项：“数据探索”，“异常值调查”】
此项目目的在于找出在安然事件中有欺诈嫌疑的安然雇员，机器学习可以构建一个算法，利
用公开的安然财务数据和邮件数据集找出嫌疑人。
数据集背景信息如下
- 数据点总数 146 个
- POI 类有数据点 18 个，非 POI 类有数据点 128 个
- 使用的特征数量共 21 个，分别是 salary, to_messages, deferral_payments, total_payments,
exercised_stock_options, bonus, restricted_stock, shared_receipt_with_poi,
restricted_stock_deferred, total_stock_value, expenses, loan_advances, from_messages, other,
from_this_person_to_poi, poi, director_fees, deferred_income, long_term_incentive,
email_address, from_poi_to_this_person
- 有很多缺失值的特征值共 6 个，分别是 deferral_payments: 107, loan_advances: 142,
restricted_stock_deferred: 128, long_term_incentive: 80, deferred_income: 97, director_fees:
129
选取 salary 和 bonus 两个特征，3 个数据点奖金大于 5 百万，工资大于 1 百万，分别是
‘TOTAL’, ‘SKILLING JEFFREY K’ 和 ‘LAY KENNETH L’，其中’TOTAL’表示合计值应该删
除，使用列表的 pop 方法，其余两个数据点应保留。观察 PDF 文件，’TRAVEL AGENCY IN
THE PARK’ 不是人名，该数据点不表示一个人的数据，也应该删除。
2. 你最终在你的 POI 标识符中使用了什么特征，你使用了什么筛选过程来挑选它们？你
是否需要进行任何缩放？为什么？作为任务的一部分，你应该尝试设计自己的特征，而
非使用数据集中现成的——解释你尝试创建的特征及其基本原理。（你不一定要在最后
的分析中使用它，而只设计并测试它）。在你的特征选择步骤，如果你使用了算法（如
决策树），请也给出所使用特征的特征重要性；如果你使用了自动特征选择函数（如
SelectBest），请报告特征得分及你所选的参数值的原因。【相关标准项：“创建新特征”、
“适当缩放特征”、“智能选择功能”】
创建新特征： poi_index，由发出邮件中发往 poi 比例、收到邮件中来自 poi 比例和收到邮
件中与 poi 共享邮件的比例三个特征值进行 PCA 得到。
注：发往 poi 比例由 from_this_person_to_poi/from_messages 计算得出，来自 poi 比例由
from_poi_to_this_person/to_messages 计 算 得 出 ， poi 共 享 邮 件 比 例 由
shared_receipt_with_poi/to_messages 得出。三个特征都是创建的新特征，poi_index 由三个
新特征进行 PCA 得出，并未与以前的特征有线性的关系。
理由：邮件特征中，由于每个人收发邮件数量差别较大，需要把与 poi 有关的 3 个特征由绝
对数量转换成比例，同时，由于三个特征都是与邮件收发有关，可以使用 PCA 压缩成 1 个
特征使后续识别算法效果更好。为了在 tester.py 文件中使用这一特征，需要将计算出的新
特征写回 my_dataset 列表进而写入 my_dataset.pkl 文件
评论0