计 算 机 视 觉 l i f e 平 台 介 绍
计 算 机 视 觉 l i f e 是 国 内 较 早 分 享「 计 算 机 视 觉 」技 术 的 原
创 平 台 , 公 众 号 订 阅 用 户 1 3 万 + 。 同 时 有 微 信 视 频 号 、
哔 哩 哔 哩 、 知 乎 、 今 日 头 条 同 名 账 户 , 全 网 订 阅 用 户 2 8
万 + 。 在 行 业 内 积 累 了 极 高 的 知 名 度 , 受 到 不 少 从 业 者 的
好 评 和 推 荐 。
平 台 主 要 面 向 智 能 机 器 人 、 自 动 驾 驶 汽 车 、 无 人 机 、 增 强
现 实 、 计 算 摄 影 、 视 觉 / 激 光 / 惯 性 传 感 器 、 计 算 机 视 觉
等 方 向 提 供 前 沿 技 术 分 享 、 系 统 教 学 课 程 。
主 要 业 务 如 下 :
1 、 A I 职 业 教 育
面 向 工 业 实 战 的 源 码 解 析 课 程 , 官 网 c v l i f e . n e t
•
视 觉 S L A M : O R B - S L A M 2 ( 必 学 基 础 )
•
视 觉 惯 性 S L A M : O R B - S L A M 3 , V I N S - M o n o + F u s i o n
•
激 光 / 多 传 感 器 融 合 S L A M : C a r t o g r a p h e r ,
L e G O - L O A M 、 L I O - S A M 、 L V I - S A M
•
三 维 重 建 :视 觉 几 何 O p e n M V S ,深 度 学 习 重 建 M V S N e t 、
P a t c h M a t c h N e t 、 J D A C S - M S ; 神 经 辐 射 场 N e R F 重 建
•
机 器 人 运 动 规 划 : D i j k s t r a 、 A - S t a r 、 D W A 、 T E B
•
相 机 标 定 : 单 目 / 鱼 眼 / 双 目 / 阵 列
•
视 觉 深 度 估 计 : 单 目 / 双 目 深 度 估 计
•
C + + 编 程 入 门 基 础 、 进 阶 提 升
•
基 于 滤 波 的 S L A M
•
S L A M 传 感 器 部 署 及 编 程 实 战
•
深 度 学 习 S L A M ( 敬 请 期 待 )
扫 描 开 始 学 习 ↑
2 、 机 器 人 S L A M 开 发 者 社 区
我们建立了全国最大的机器人 SLAM 开发者交流社区,2018 年开始运
营至今,已经有 4300+会员、6500+主题分享、9500+问答评论、170+
教学视频。
•
领 域 : 机 器 人 S L A M 、 三 维 视 觉 、 自 动 驾 驶 、 增 强 现
实 、 无 人 机 、 图 像 处 理
•
直 播 : 每 月 6 / 1 6 / 2 6 日 固 定 直 播 , 涵 盖 大 佬 分 享 、
学 习 经 验 、 求 职 面 试 、 实 习 历 程 、 行 业 内 幕
•
教 程 : 图 文 视 频 教 程 : 涉 及 代 码 调 试 、 O p e n C V 、 P C L 、
G 2 O 、 C e r e s 、 视 觉 S L A M 十 四 讲 、 L V I S A M 、 R 3 L I V E 、
F a s t l i o 2 、G V I N S 、机 器 人 学 中 的 状 态 估 计 、语 义 S L A M
论 文 阅 读 … …
•
答 疑 : 每 日 星 主 答 疑 、 嘉 宾 答 疑 、 星 友 互 助 答 疑 , 搜
索 关 键 字 几 乎 所 有 问 题 都 能 找 到 答 案
•
资 讯 : 每 日 论 文 翻 译 、 行 业 资 讯 汇 总 、 每 周 汇 总 、 精
华 汇 总
•
活 动 : 学 习 小 组 、 行 业 资 源 对 接 、 会 员 激 励 、 有 偿 招
募 助 教 / 兼 职
•
求 职 : 经 验 分 享 、 内 推 职 位 、 S L A M 面 试 题 、 笔 试 练
习
扫 描 加 入 ↑
招 聘 、 产 品 宣 传 等 商 务 合 作 , 联 系 s i m i t e r @ 1 2 6 . c o m
【课件】SLAM 传感器与算法部署实
战
目录
第 1 章:SLAM 入门简介及课程安排(小六) ......................................................................................6
课程介绍 .......................................................................................................................................................6
课程背景 ..............................................................................................................................................6
讲师介绍 ..............................................................................................................................................7
本课程解决的问题 ............................................................................................................................8
说明 .......................................................................................................................................................8
初识 SLAM ..................................................................................................................................................8
SLAM 的不可替代性 ............................................................................................................................ 11
SLAM 有哪些应用? ............................................................................................................................ 12
自主移动机器人 ............................................................................................................................. 12
增强现实 ........................................................................................................................................... 13
自动驾驶汽车 .................................................................................................................................. 14
智能无人机 ....................................................................................................................................... 14
SLAM 不同应用场景的对比 ...................................................................................................... 15
SLAM 学习过程 ...................................................................................................................................... 16
推荐的 SLAM 学习过程 .............................................................................................................. 16
SLAM 学习书籍推荐 .................................................................................................................... 16
SLAM 优秀开源方案 .................................................................................................................... 17
第 2 章:SLAM 常用传感器原理介绍(pony) ........................................................................................ 17
1 视觉传感器 ........................................................................................................................................... 17
1.1 基本原理................................................................................................................................... 17
1.2 原理分类................................................................................................................................... 17
1.3 产品分类................................................................................................................................... 18
1.4 参数解读................................................................................................................................... 22
2 激光雷达 ................................................................................................................................................ 23
2.1 基本原理 .................................................................................................................................... 23
2.2 分类 ............................................................................................................................................ 24
2.3 参数解读 .................................................................................................................................... 28
3 惯导 ......................................................................................................................................................... 29
3.1 基本原理................................................................................................................................... 29
3.2 惯导分类................................................................................................................................... 30
3.3 参数解读................................................................................................................................... 31
4 轮速计 .................................................................................................................................................... 32
1
cvlife.net
4.1 基本原理................................................................................................................................... 32
4.2 分类 ............................................................................................................................................ 32
5 GNSS ...................................................................................................................................................... 34
第 3 章:数据集介绍与使用 M2DGR、 KITTI、EuRoc,评测(Jack) ........................................ 35
M2DGR 简介 ............................................................................................................................................. 35
KITTI 简介 ................................................................................................................................................... 38
EuRoc 简介 ................................................................................................................................................ 42
SLAM 精度评估 ........................................................................................................................................ 46
第 4 章:机器人操作系统 ROS 入门(pony) ...................................................................................... 50
1 ROS 安装 ................................................................................................................................................ 51
2 ROS 基础 ............................................................................................................................................... 58
2.1 节点 ............................................................................................................................................ 58
2.2 话题、消息 .............................................................................................................................. 60
2.3 服务 service .............................................................................................................................. 61
2.4 话题和服务 .............................................................................................................................. 61
2.5 参数 ............................................................................................................................................ 61
2.6 文件系统 ................................................................................................................................... 62
3 ROS 命令行 ............................................................................................................................................ 63
rosnode ............................................................................................................................................. 63
rostopic .............................................................................................................................................. 66
rosmsg ............................................................................................................................................... 70
rosservice .......................................................................................................................................... 72
rosbag ................................................................................................................................................ 74
4 工作空间的创建,功能包的创建 .................................................................................................. 76
4.1 创建/初始化成功工作空间 ................................................................................................. 76
4.2 编译工作空间 .......................................................................................................................... 77
4.3 设置环境变量 .......................................................................................................................... 78
4.4 创建功能包 .............................................................................................................................. 78
5 发布者/订阅者编程实现 .................................................................................................................. 80
5.1 C++实现话题 ........................................................................................................................... 82
6 TF 坐标系变换 ...................................................................................................................................... 88
6.1 ROS 常用坐标系 ...................................................................................................................... 88
6.2 tf 命令工具 ................................................................................................................................ 88
7 Launch 文件.......................................................................................................................................... 90
7.1 launch 文件基本的成分 ........................................................................................................ 90
7.2 其他 tag ..................................................................................................................................... 91
8 ROS 显示与可视化工具 ..................................................................................................................... 93
8.1 rqt_console ................................................................................................................................ 93
8.2 rqt_plot ....................................................................................................................................... 94
8.3 rqt_graph ................................................................................................................................... 96
8.4 rqt_image_view ........................................................................................................................ 97
8.5 Rviz ............................................................................................................................................... 97
8.6 Gazebo ..................................................................................................................................... 101
第 5 章:典型传感器简介及驱动安装 .................................................................................................... 104
2
cvlife.net
双目视觉传感器 Indemind (Jack) ............................................................................................ 104
传感器简介 ..................................................................................................................................... 104
驱动安装 ......................................................................................................................................... 105
运行 SLAM: ................................................................................................................................. 107
RGB-D 视觉传感器 Realsense D455 (小六) .......................................................................... 107
介绍 .................................................................................................................................................. 107
安装 .................................................................................................................................................. 108
示例代码 ......................................................................................................................................... 111
ROS 驱动安装 .............................................................................................................................. 115
单线激光雷达思岚 S 系列 (Jack) .............................................................................................. 120
参数简介 ......................................................................................................................................... 120
安装与测试 ..................................................................................................................................... 120
多线激光雷达 Robosense (Jack) ........................................................................................... 121
激光雷达参数介绍 ....................................................................................................................... 121
安装与测试 ..................................................................................................................................... 122
第 6 章:传感器标定 .................................................................................................................................... 123
视觉-惯性相机标定 Kalib(小六) ............................................................................................. 123
显示相机的基本信息,包括固件、支持的模式、分辨率、帧率等 ........................... 123
自标定工具 ..................................................................................................................................... 123
RealSense D455 相机内参 ....................................................................................................... 123
参考内容 ......................................................................................................................................... 126
RealSense D455 相机标定 ........................................................................................................ 126
IMU 标定 ......................................................................................................................................... 130
Kalibr 多相机标定 ........................................................................................................................ 133
双目相机-IMU 标定 .................................................................................................................... 144
激光惯性标定(Jack) ........................................................................................................................ 149
第 7 章:视觉 SLAM 实战(小六) ......................................................................................................... 153
ORB-SLAM2 简介 .................................................................................................................................. 153
ORB-SLAM2 简介及特点 ........................................................................................................... 153
算法流程框架 ................................................................................................................................ 153
ORB-SLAM2 安装编译运行(非 ROS) ........................................................................................ 157
安装编译 ......................................................................................................................................... 157
ORB-SLAM2 安装编译运行(ROS 环境) ................................................................................... 170
安装编译 ORB_SLAM2 的 ROS 环境 ...................................................................................... 170
相机实时运行 ................................................................................................................................ 174
运行双目数据集 ........................................................................................................................... 178
ORB-SLAM2 工程化建议 .................................................................................................................... 179
第 8 章:视觉惯性 SLAM 实战(小六) ................................................................................................ 180
ORB-SLAM3 简介、安装、编译、数据集/相机实测 ............................................................... 180
ORB-SLAM3 简介 ........................................................................................................................ 180
ORB-SLAM3 安装编译(ROS) ............................................................................................. 184
运行数据集 ..................................................................................................................................... 192
D455 相机实际运行 .................................................................................................................... 194
VINS-Fusion 简介、安装、编译、数据集/相机实测 .............................................................. 198
3
cvlife.net