同济大学刘虹蔚11
需积分: 0 149 浏览量
2022-08-03
21:36:15
上传
评论
收藏 452KB PDF 举报
刘虹蔚
excellentlhw@foxmail.com | 151-1190-5091 | Github: hanny-liu
上海市嘉定区曹安公路4800号, 同济大学嘉定校区华楼
EDUCATION
同济大学 中国, 上海
车辆工程专业：弹性车轮结构设计 Expected May 2020
核心课程包括: 多体系统动力学、数值分析、矩阵论、C++程序设计、数据结构与算法、概率论、视觉SLAM、数字图像处理、图优化
重庆交通大学 中国, 重庆
车辆工程专业：车辆结构设计方向; GPA: 4.0/5.0(90/100) Aug 2013 - May 2017
SKILLS
• Languages: C++, Matlab, CET6 Technologies: Linux, ROS, CMake, GitHub
• Libraries: Eigen, g2o, Sophus, OpenCV, PCL SLAM: ORB-SLAM, VINS, Cartographer
EXPERIENCE
ROBOTICPLUS.AI 上海大界机器人科技有限公司 中国, 上海
研发部算法实习生-工作内容：机器人贴砖项目-视觉SLAM算法研究 Apr 2019 - Present
◦ 瓷砖破角轮廓补齐及轮廓提取: 机械臂在贴砖过程中,通过相机获取的瓷砖图片,精确地识别多块瓷砖轮廓,并对破角的瓷砖补齐
轮廓,从而提高贴砖平行度和准确度.
∗ 重难点:
由于图片内包含一块或多块瓷砖的轮廓,需准确识别到每一个轮廓,并判断是否属于同一块瓷砖;由于贴砖算法的限制,利用轮廓
角点来确定贴砖位置.因此对轮廓有破损的瓷砖需自动补齐破角恢复角点位置;同时,调整贴砖平行度时,需要用到精确的轮廓直
线斜率.
∗ 解决方案:
在对图像滤波后,根据canny边缘检测算法提取轮廓,尝试利用分类算法(k-means)将已识别出的轮廓根据轮廓坐标的质心分类.后
来分类只会把最近的轮廓归为一类而非把符合多边形规律的轮廓归为一类.因此,最后决定判断各轮廓端点的距离,达到一定阈
值后归为一类.容错率达到0.98;针对恢复角点,主要利用霍夫直线变换与ransac结合,将已有的轮廓的直线提取出来,再根据直线
拟合误差用ransac筛选出最好的拟合直线.此方法在提升了轮廓斜率的同时,也恢复了角点.
◦ 机械臂手眼矩阵标定: 通过手眼标定技术,确定机械臂末端工业相机与末端相对姿态,从而保证机械臂贴砖定位的准确性.
∗ 重难点:
由于相机与机械臂末端的相对姿态未知,无法通过机械臂的内部坐标转换获取相机的世界坐标,也就无法通过视觉图片识别的角
点坐标去正确地调整贴砖位置与方向.因此,需要进行手眼矩阵标定.由于标定中间数据及处理方法对标定结果影响极大,所以需
要判断标定结果的有限性以及确定最优值.
∗ 解决方案:
利用张正友标定法对海康相机进行相机标定.然后通过控制机械臂运动,记录不同位姿下的末端位姿,同时根据对极几何记录相
机位姿.然后分别利用TSAI、Navy、矩阵直积、非线性最小二乘的方法进行求解,计算矩阵范数确定标定误差,选取最优解.
◦ 机器人实时建图: 针对室内贴砖机器人的自主定位导航,与安卓平板端进行通信,建立机器人实时建图和地图列表等功能.
∗ 结合机器人上的激光传感器,建立机器人实时建图、保存地图、加载地图、删除地图、建立地图列表等功能.利用ROS通信协
议,将中间数据传送给安卓端,并显示到平板.从中深入学习了cartographer原理及代码实现.
PROJECTS
• 驾驶员疲劳检测系统(DMS)开发:
◦ 采用基于深度学习的人脸稠密关键点检测(人脸检测、人脸矫正),利用 PNP、RANSAC 等算法进行头部姿态估计,实现驾驶员身份识
别、疲劳检测、注意力分散检测、特定行为检测、视线追踪等功能,并可完成 Yaw±90°,Pitch±45°和 Roll±45°方向内大角度姿
态的可靠检测。负责驾驶员头部姿态估计的 EPNP 算法方案.
• 视觉里程计实现:
◦ 基于光流法的灰度不变假设,提取FAST关键点后,利用相机模型和最小化光度误差技术,根据非线性最小二乘求出相邻关键帧的相
对pose,即单层直接法的视觉里程计.之后通过图像金字塔,coarse-to-fine的实现多层直接法,提高了追踪精度.
• Monocular camera标定:
◦ 根据张正友相机标定法,对图像进行高斯滤波,提取FAST角点并根据harris值进行RANSAC筛选角点,再将像素坐标根据双线性差值获
得亚像素坐标后,根据平面映射的单应性关系,计算最佳单应矩阵,然后再利用非线性最小二乘求解最优内参与畸变系数值.
ADDITIONAL EXPERIENCE & ACHIEVEMENTS
• 《对恐怖袭击事件记录数据的量化预测分析》全国研究生数学建模竞赛国家二等奖，面对恐怖事件庞大的数据和标签特征，合理的假
设、筛选问题相关的特征、排除冗余数据的影响。对高维数据进行特征提取以及PCA降维，使量化分析更行之有效。
评论0