SpringBoot整合并使用Java实现“孤立森林”异常数据过滤算法
153 浏览量
2021-01-06
04:16:28
上传
评论
收藏 157KB PDF 举报
SpringBoot整合并使用整合并使用Java实现实现“孤立森林孤立森林”异常数据过滤算法异常数据过滤算法
实现背景和意义实现背景和意义
在物联网物联网应用中，数据的产生大多数都是由传感器采集的，农业物联网更是如此。并且农业物联网中，传感器采集环境更加极端，十分容易发生传感器数据采集异常事件，这些异常
的输入随传输协议进入数据库，必然会对本系统的数据库产生污染，影响应用可靠性。所以对异常数据应该采取过滤过滤的方式达到不对应用可靠性产生负面影响的效果。
在我自己的智能水培项目中中，物联网的环境数据由温度、湿度、PH值、EC值、CO2浓度、光照强度组成，所以按时间划分，每一条数据就是这些属性的合集，所以我们可以将环
境数据集看成多维数据集。
孤立森林算法孤立森林算法
在详细讨论算法的文章里已经说明的很清楚了，这里不做赘述，只讲一下自己的理解作为总结。
孤立森林算法的实质是对“容易离群的点”的过滤。在多维数据中，利用各项属性比对大小来构建树，测试异常点时使用该值进行树的遍历，越是异常的点，它的遍历深度就越低，以
此来判断该点是否离群。当然若要增加判断可靠性，就需要多创建树，并遍历所有的树，累计所有的深度，计算平均值，设定评分系统来评定该点是否是所谓的异常点。
Java实现孤立森林实现孤立森林
项目中用到的二维数组DenseMatrix64F的依赖：
com.googlecode.efficient-java-matrix-library
ejml
0.25
项目中的HistoryData为我自己构建的类，是物联网中的历史数据类，贴代码经供参考。
public class HistoryData {
private String time;
private String CO2;
private String EC;
private String LED;
private String LIGHT;
private String PH;
private String RH;
private String TEMP;
private String days;
public HistoryData() {
}
public String getTime() {
return time;
}
public void setTime(String time) {
this.time = time;
}
public String getCO2() {
return CO2;
}
public void setCO2(String CO2) {
this.CO2 = CO2;
}
public String getEC() {
return EC;
}
public void setEC(String EC) {
this.EC = EC;
}
public String getLED() {
return LED;
}
public void setLED(String LED) {
this.LED = LED;
}
public String getLIGHT() {
return LIGHT;
}
public void setLIGHT(String LIGHT) {
this.LIGHT = LIGHT;
}
public String getPH() {
return PH;
}
public void setPH(String PH) {
this.PH = PH;
}
public String getRH() {
return RH;
}
public void setRH(String RH) {
this.RH = RH;
}
public String getTEMP() {
return TEMP;
}
public void setTEMP(String TEMP) {
this.TEMP = TEMP;
}
public String getDays() {
资源评论
