动态语义SLAM-目标检测+VSLAM+光流+多视角几何动态物体检测源码+octomap地图+目标数据库.zip

 # 修改 1.0 添加一个点云建图线程，接收来自 Tracking线程的关键帧。 使用 彩色图和深度图 生成点云 对关键帧 的 彩色图 使用 mobilenetv2-ssd-lite 进行目标检测。 对每个目标区域 的点云计算 点云中心 3D包围框信息 ( 会使用深度均值进行滤波)。(方案2，点云分割聚类后和2d框计算交并比) 加入到 语义目标数据库中。 当 是相同的类别且位置中心没有太大的变化，则认为是同一个物体，融合相关信息。 2.0 对关键点使用 动点检测算法进行过滤 在原地图构建类中 加入 octomap地图构建部分 其次对关键帧使用新的 目标检测线程进行 检测 在构建octomap地图的同时构建语义目标数据库 保存和载入 orb-slam2地图和octomap地图 3.0 想法: 使用语义分割/实例分割 构建更精细的 语义目标数据库 使用 目标检测结果和 动点检测算法对 关键点进行 过滤 建图时 除去 动点 和 检测结果中的先验动点 # 参考 [mobilenetv2-ssd-lite 目标检测](https://github.com/Ewenwan/MVision/tree/master/CNN/HighPerformanceComputing/example) [图漾相机](https://github.com/Ewenwan/MVision/tree/master/stereo/RGBD/orb_slam2_rgbd) [oRB_SLAM2](https://github.com/Ewenwan/MVision/tree/master/vSLAM/oRB_SLAM2) [Octomap建图参考](https://github.com/Ewenwan/ORB-SLAM-RGBD-with-Octomap) [ OctoMap/octomap_mapping 官方建图参考 2D导航等](https://github.com/Ewenwan/octomap_mapping) [OctomapBuilder.cc](https://github.com/XinkeAE/Active-ORB-SLAM2/blob/master/src/OctomapBuilder.cc) [DynamicSemanticMapping 动态场景建图](https://github.com/Ewenwan/DynamicSemanticMapping) [orb-slam2地图保存](https://github.com/MRwangmaomao/ORB_SLAM2_SaveMap_Catkin/blob/master/src/Map.cc) [地图保存2](https://github.com/XinkeAE/Active-ORB-SLAM2/blob/master/src/Map.cc) [[ORB-SLAM2] ORB-SLAM中的ORB特征（提取）](https://zhuanlan.zhihu.com/p/61738607) > 动态环境处理 [dynslam 光流运动 语义分割](http://www.cvlibs.net/publications/Barsan2018ICRA.pdf) [DynaSLAM 多视角几何 语义分割](https://arxiv.org/pdf/1806.05620.pdf) [光流运动一致性检测，投影点距离基线距离阈值 语义分割 DS-SLAM ](https://arxiv.org/ftp/arxiv/papers/1809/1809.08379.pdf) [代码](https://github.com/ivipsourcecode/DS-SLAM) [相机运动 与 像素点运动比较 阈值](http://sci-hub.tw/https://linkinghub.elsevier.com/retrieve/pii/S0167865518308523) > 语义信息融合 [Towards Semantic SLAM using a Monocular Camera ](http://webdiis.unizar.es/~jcivera/papers/civera_etal_iros11.pdf) [Probabilistic Data Association for Semantic SLAM](https://www.cis.upenn.edu/~kostas/mypub.dir/bowman17icra.pdf) [VSO: Visual Semantic Odometry](https://demuc.de/papers/lianos2018vso.pdf) # 感谢支持  # 改进点 1. 考虑动态环境(语义信息、多视角几何、光流、运动一致性检测) 2. 动态更新 语义地图 (语义信息 加入到 数据关联 损失函数中、octo-map语义地图概率更新语义和动态特性) 3. orbslam2地图 与 octomap地图的 保存与载入 # 改进 将 语义数据库信息 加入到 octo-map 中 使用 octo-map的概率信息 更新语义数据库 # 最终效果图 > octomap地图：   > ORB-SLAM2地图切换  > 语义pcl点云图  > 2d 融合3d效果图 方案1:   方案2:    > 动态点检测 方案1:   方案2:   数据库：  系统整体框架：  相机定位轨迹对比， tum ft3 walking数据集上  flow: compared_pose_pairs 826 pairs absolute_translational_error.rmse 0.387510 m absolute_translational_error.mean 0.316048 m absolute_translational_error.median 0.203472 m absolute_translational_error.std 0.224227 m absolute_translational_error.min 0.070175 m absolute_translational_error.max 1.052806 m geom: compared_pose_pairs 826 pairs absolute_translational_error.rmse 0.151517 m absolute_translational_error.mean 0.070537 m absolute_translational_error.median 0.041738 m absolute_translational_error.std 0.134097 m absolute_translational_error.min 0.002700 m absolute_translational_error.max 0.889107 m src: compared_pose_pairs 826 pairs absolute_translational_error.rmse 0.702233 m absolute_translational_error.mean 0.582247 m absolute_translational_error.median 0.520550 m absolute_translational_error.std 0.392580 m absolute_translational_error.min 0.077351 m absolute_translational_error.max 1.476973 m # 遗留问题 目标检出率低(更好的目标检测/实例分割模型、地图点和语义信息化挂钩，将语义信息加入到数据关联目标函数中) octomap的动态地图更新效果不太理想(octomap 概率更新探索，建图时直接剔除动态点) 地图大了之后，系统 响应变慢 (地图维护) 地图导航、路径规划 [Planning.cc](https://github.com/XinkeAE/Active-ORB-SLAM2/blob/master/src/Planning.cc) 智能导航 # 数据关联 路标点集合 L = {Lm} m=[1:M] 传感器姿态序列 X = {xt} t=[1:T] 传感器测量值 Z = {zk} k=[1:K] 数据关联 D = {(ak, bk)} k=[1:K] 意义是 地zk次测量下 姿态 x_ak 和 路标点 L_bk 相关联 统计学方法,已知数据 Z，求出现Z的最大概率对应的系统参数 L,X,D======== 普通硬决策方法：(特征点法====) 先求得一个准确的 关联D' D' <---arg max log p(D|X0,L0,Z) 使用先验的 位姿X0(orb-slam2中运动模型得到) 和 已经存在的地图点L0 以及传感器观测信息Z 求解一个最大概率的 2D-3D点数据关联 / 3D-3D点数据关联 取对数，仍然是正相关，[0，1] ---->映射到 [-无穷大,0] 在使用这个关联D 来最大化 模型(X,L,D)出现数据Z的概率， 得到最优 的 X，L X，L <------ arg max p(Z|X,L,D')