java反编译工具免安装

java反编译工具免安装

spark升级后无logging类

在使用spark读取kafka数据时，当spark升级到2.0之后，出现如上问题：之前遇到了，当时在工程里面添加了org.apache.spark.Logging类，能够运行。

coordinator设置定时任务

使用oozie配置workflow，在coordinator上设置定时任务。

Hue-workflow配置流程

使用hue平台配置workflow流程，在workflow中添加hql脚本文件和jar包，设置定时执行。

Yarn编程ApplicationList

yarn编码，实现Application列表查询，Application的kill操作。以及Job的查询，map和reduce个数查询

Yarn获取Application列表编码

Yarn编码获取Application列表，编程实现application的信息，kill application操作，获取job信息，maven打包操作。

Yarn编码获取Application列表

使用yarn开发获取正在执行的application列表，返回application信息，kill application操作，以及在maven打包是遇到的问题。

Maven包和遇到的问题总结

在压缩包中，包含eclipse安装maven所需的maven包和在maven使用过程中遇到的一些问题总结。

Hive sql优化

从数据倾斜，jvm重用，语句编写等方面对hive查询进行优化。

relief-java实现

最近由于工作需要，对数据进行降维处理，通过对各种算法的研究，想寻找一种比较理想的算法，处理数据维度，达到降维的目的，对PCA进行研究，但是PCA是对当前多维数据的空间变换，无法达到物理降维的目的，因此想选择物理降维的算法，因此对卡方算法和relief算法进行相关研究，这两种算法是对数据的物理降维，是特征选择的操作算法。