MSDS694-IoT-sensor-project:分布式计算项目-使用智能手机和智能手表数据进行活动识别

关于我 您好，我叫Sophie Wang，我正在旧金山大学获得数据科学硕士学位。 这是我为“分布式计算”课程完成的单个项目。 MSDS694-IoT-传感器-项目 在Apache Spark中使用智能手机和smartwatch数据进行活动识别 在此存储库中，您将找到我所有的python脚本代码以及相应的jupyter笔记本，在其中您可以看到所有打印的中间结果。 项目介绍 使用的数据集来自“ UCI WISDM智能手机和智能手表活动与生物识别”，其中包含智能手机和智能手表的陀螺仪或加速度计收集的信息。 目标是通过在分布式计算环境（SparkML和Spark + H2O）中应用机器学习技术来分类和识别人类活动类别。 该项目包括六个部分（包括EDA和机器学习）： 从子文件夹一次加载所有数据作为RDD。 删除所有空值 将RDD转换为Spark数据框 将活动代码数据框与传感器信息数据框结合在一起