pyspark-bessemer:Bessemer PySpark测试

贝西默（Bessemer）上的PySpark 这是在的高性能计算集群上使用 （Python中Apache Spark的接口）的模板。 本示例旨在在单个节点上以独立模式运行Spark实例，并使用指定数量的核心。 另请参阅： 安装 登录到Bessemer并使用Conda在您的主目录中设置Python虚拟环境（请参阅）。 conda env create --file environment.yaml 用法 将作业提交到Slurm调度程序： sbatch job.sh 常见问题 非法反射访问操作 使用Java版本> = 9加载Spark时，将显示警告。 WARNING: An illegal reflective access operation has occurred WARNING: Illegal reflective access by org.apache.spark.