论文研究-基于单目图像序列的连接刚体三维运动分析 .pdf

所需积分/C币:16 2019-08-27 12:24:41 440KB .PDF
收藏 收藏
举报

基于单目图像序列的连接刚体三维运动分析,张小云,刘允才,本文提出了一种由单目图像序列的点对应元估计连接刚体的三维结构和运动参数的新方法。首先,连接刚体用一个运动链模型表示,并从
国科技论又在线 http:/www.paper.edu.cn p0’=R0(po-i1)+ P'=R1(p1-i)+i 其中R,R1分别是两个连杆的旋转矩阵,p0>P0是l上的3D点对应元,P1>P1是l 上的3D点对应元。应该明确这里的R1是连杆1在世界坐标系下的旋转运动,而不是它相对 于连杆l的相对旋转。从方程(1)看出,连杆l0和l1的运动不是互相独立的,而是由连接点 相互联系。相邻两个连杆的这种运动相关性在连接刚体的结构和运动分析中有非常重要的 作用,可以用于估计连接点的空间位置和连接轴的方向。 4初始位姿估计 获得连接体的初始位姿,包括连接点的位置和连接轴的方向,对于后续的连接运动估计 非常重要。求得初始位姿后,连接体的运动只需要用各个连杄绕着其连接点的旋转角来表示 这样人人降低了连接体运动估计的参数个数。因为若把每个连杆作为一个刚体单独考虑,则 每个连杆需要用6个运动参数来表示。下面主要考虑由方程(1)估计l和l连杆间的连接点 方和连接轴方向n1 Camera coordinate system o-Xyz Scale ambiguity Projection plane j。 int axis n l, of joint axis m PosItion ambIguIty 冬2连接点的不确定性和连接轴的投影半 41基于点对应元的运动约束方程 用类似」推导刚体运动估计中有关木质矩阵[16]的运动约束方程的方法,用i一R。,方 左叉积方程(1)的两边,再左乘P0,得 po[(i,R01)×R0P]=0 在透视投影中,空间三维点p与其维图像点的齐次坐标P之间有比例关系p=zP/f, 所以从(2)得到 1E01=0 其中E0=(i1’-R0元1)XR0。当R是旋转矩阵时,有Ra×Rb=R(axb),所以E可以化 3 国科技论又在线 http:/www.paper.edu.cn 简为E=[R-R0[i]k。[是把三维向量映为3×3反对称矩阵的映射: [(x,y’,z)] v X 类似地,对于连杆l1,可以从(1)的第二个方程得到 E,P 其中E1=["R1-R1[]2。所以,每一对图像点对应元可以提供一个(3)(4)的运动约束 方程。从一组图像点对应元,可以相应地获得一组关于运动参数和连接点位置的约束方程 求解该方程组,我们可以期望求得两幅图像间的运动参数R0,R1和连接点方1的空间位置 但是,对于单自由庋的旋转接点,满足约束方程(3)和(4)的方是不唯的,要确定连接点的 位置,需要对连接点加以更多的约束。 4.2连接点约束 对于单自由度的旋转连接,其轴上任意点都满足方程(1)中的,也满足(3)和(4),我们 称之为连接点位置确定性。另外,从单目图像序列只能恢复图像中物体的相对深度信息, 它与真实值存在一个比例因子,这是因为空间点p和另一个点¢p经过透视投影对应同一个 图像点。因此,在由图像恢复物体的三维结构时,此处即指连接点的空间位置,还存在着 比例因子不确定忙。连接点位置和比例因子的不确定性使得连接轴所在的投影平面上的仟 何“点都可以作为方程(3)4)中的连接点(图2)。投影平面经过坐标原点,所以为了在该平 面确定一个点,还需要两个约束条件。由于比例因子不确定性是单目视觉系统的固有特性, 我们可以仁意选定连接点方的深度值,如i=z0,其中z0>0(物体处于相机的前方)。 在实际中,可以选z为物体到相机的大致距离。改定了方的深度值,广仍旧不能确定,因 为任何处于连接轴投影平面和z=2。平面的交线上的点都满足约束条件。所以再给定如下 条件: r+,2 其中c是给定的正数,理论上可以取任何大于z轴与连接轴投影平面和z 面的交线之 间的最短距离值。如果c取值太小,则连接点可能没有解。实际应用中,可以根据图像中连 接点的大致位置和已设定的深度值zo来确定c。在以上两个约束条件下,和用图像点对应元 提供的约束方程(3)(4),可以完全确定轴上一个连接点的位置,当然它与其对应的真实值之 间还存在一个比例因子,该因子无法从单日图像序列中恢复。 43退化情形 方程(3)4)是关于E和E1的齐次方程,如果E和E1为零矩阵,则(3)和(4成立,该 退化情形应该避免。注意到,如果E0=0,则i=R0i1,从而有j×R=0。因此,应 该使 j×R0≠0 4 国科技论又在线 http:/www.paper.edu.cn 但是不等式约束(6)在数值优化中很难处理,我们利用函数 f(x)=10 的特殊性质:当x=0到达最人值1,而当x>>σ时几乎为零,可以把不等式约束(6)数值 上近似等价为等式约束1.0 =0,其中t引j<R0i,且取G使得a<<t。 44连接点估计 综合以上分析,图像点对应元提供的运动结构约束方程、连接点的约束条件以及避免 退化的约束方程构成如下一个方程组 (i]3R-R[1]) Pi(ljiIR-RiLjIxPi=0 0 1.0 方×R0方 a2+|1×R0 X R 1.0 0 +|1×R1方 其中i=1,…,m,m是各个连杆上的特征点数目。个旋转矩阵R可用单位四元数 q=(90,q1,q2,q3)表示,其各个元素是q的二阶多项式[17]。例如,绕轴n旋转O的旋转矩 阵的四元数为q=(cos(6/2),isin(6/2)表示。所以方程组(7)的未知变量可设为 x=(q0,q1,j1,1,j),其中q1(=1,2)是表示旋转矩阵R的四元数。(7)中的大多数方 程是简单的低阶多项式方程,容易求解 方程组(7)中共有10个独立的未知参数,其中旋转知阵R和R1共有6个独立参数,连 接点j1和有4个独立参数因为j有两个附加的约束条件),而每对图像点对应元提供 个类似于(3)或(4)的约束方程。要求得个解,必须使方程个数应该大于等于独立未知数的 个数,所以两个连接杆上至少需要10个特征点。特征点的分布则需满足每个连杆上至少有 3个特征点,因为两个杆各自的旋转运动参数是独立的。实际应用中,可以使用所有可得到 的冇效特征点,以提高算法的收敛速度和稳健性 利用以上方法可以求得所有连杆之间的连接点,但它们与真实值都存在一个比例因子。 为了使恢复的连接体结构与貞实值致,必须使它们具有相同的比例因了。这可根据连杆l 和l2间的连接点j2也满足连杆l1的运动,即j2=R1(2-元)+i1,求S使得 sl|j2-Ri2H1-R11,则估计值方和s2相对」它们的真实值j1和i2具有相同的比例 因子。 45连接轴方向佔计 单白由度的旋转连接轴由轴上一点和轴方向唯一确定。轴上一点即j已经求得,下面 国科技论又在线 http:/www.paper.edu.cn 讨论如何从求得的旋转矩阵R和R1计算出连杆l1的连接轴方向n1。应该明确方是指其他连 杆保持不动时,连杆l1的旋转轴方向。连杆l和l1的运动可以分解为以下两个步骤 1)连杆l运动,且连杆l1随之一起运动,但没有相对运动 2)连杆l静止,连杆1相对于运动后的连杆l、绕着连接轴作旋转运动。 经过步骤1),连接轴方向亓1旋转到方向R元1;步骤2)中连杆l相对于连杆l的运动是个 绕着旋转轴方向为R0元1的旋转运动,其旋转矩阵可以表示为Ro=R1R。所以,R0的旋 转轴方向就是R01,从而得到 n,=Ko axIS(10 其中axi(R)指旋转矩阵R的旋转轴方向,可以由以下公式求得: (R)=1 axis( 2sin 6/ 13-r 其中R=(z)3,日是R的旋转角,且Coss (r1+r2+3-1) 5连接运动估计 求得连接体在初始时刻(第一咴图像)的连接点的空间位置和轴方向后,每个连杆的运动 可以用其绕着连接轴的旋转角度表小。机器人操作学中的螺旋和指数映射可以方便地表小连 接运动,并且各个连杆的运动相联系。 51运动链的螺旋和指数映射 运动链中的单自由度旋转连接可以用一个螺旋[81 方“表示,其中n是连接 軸的单位方向向量,j是连接轴上一点。连杆绕着该连接轴旋转b角度的旋转运动可以用以 下指数映射变换 表达。其中 方]-n 0 是一个4×4的矩阵,它的前三行三列构成的3×3子矩阵是一个反对称阵。由(8)计算所得的 G是一个4×4的矩阵,且一定有形式G R0 ,其中R是一个3×3的旋转矩阵,T是 个三维向量。所以G实际上就是一个在齐次坐标系下描述刚体运动的变换矩阵,也表示 该连杆在当其他连杆侏持伈动时的运动变换。 在初始位姿估讣中,已经求得各个连杆的连接轴方向及轴上一点,所以每个连杆的 旋很容易计算。假设有n个连杆b,l1,…,ln-的连接链,l是基杆,没有固定连接点,可以 国科技论又在线 http:/www.paper.edu.cn 白由运动。设l0的运动为G「R07 其它连杆绕着各自连接轴的旋转角度为 61,…On1,则连杆l2的运动变换是 $e 5.2连接运动估计 利用连杆l的运动变换,有以下方程 「RT P 01 其中P1和P1是用齐次坐标表示的、连杆l1上运动前后的点对应元,即n_(P。从方程 (9),用推导等式(4)的方法可以得到 PE1(G,61,…,日)P=0 P,P是连杆l上的图像点对应元,E1由G求得:E1=7×R,它是主杆的运动参数Go及 其它各个连杆的旋转角度B1,…,6的函数。 给定各个连杆上的图像点对应元,可以获得以下关」运动参数的约束方程组: 1E0(G)B=0 E1(Go,1)B=0 Go,B1,…,n1)P1=0 方程组(10)中,G0有6个独立参数,冉加上n-1个旋转角度,共有n+5个独立未知参数。 而如果把每个杆单独考虑则需要6n个参数,所以我们的算法大大降低了求解空问的维数 从而对特征点的个数要求也相应降低。由于每对图像特征点对应元提供个约束方程,所以 如果主杆上有6个点,则理论上其它每个连杆上只需要1个特征点,这能很大程度地克服连 接体中常发生的遮挡问题。算法的另一个优点是,各个连杆的运动参数在方程组(10中相互 关联并一起求解,一个杆上特征点少了,另一个杆上的特征点可以弥补,只要保证整个连接 体上有所需要的特征点数目可。而且这和相关性提高了算法的有效性和稳健性 6实验 先进行仿真实验验证算法的正确性和有效性。假设有三个连杆的连接体,主杆可以任意 运动,没有连接点,从而有6个运动参数,另外两个连杆则是在随主杆走运动的同时绕着 各自的连接轴旋转。特征点分布在[2.5,25×[-225]×[3.0.40空间内,并投影到 500×500像素的图像平面中,相机焦距设为1,像素大小约为0.003。连接点的约束条件中, 其深度值j2和(5)中的c设为真实值。实验中所涉及的方程组用 Levenberg- Marquardt非线性 最小二乘法求解。在初始位姿佔计中,每个连杄上有15个特征点,且图像数据被相当于三 个像素的均匀分布的随机噪声扰动,估计结果如表1。在随后的运动估计中,每个杆上只提 国科技论又在线 http:/www.paper.edu.cn 供5个特征点,且被5个像素的噪声扰动,估计结果如图3。从表1和图3看出,我们的算 法非常有效。 表1.初始位姿真实值和三个像素噪声下的估计值 连接轴 真实值 估计值 (-0.8,-0.8,3.0) (-0.7892,-0.8107,3.0) (0.8,0.8,3.0) (0.8424,0.7553,3.0) 轴方向n (0.72250.452,0.5230)(0.6770.4357,0.5920) 轴方向n2 07060618)042068062 图3.第2、4、6、8时刻的连接体位姿(左列:真实值,右列:估计值) 在基」真实场景图像的实验中,我们采用两块手臂的札器人图像序刎,图4是序刎中第 和第4幅图像。用数码相机 Nikon5000拍取图像,并进行标定获得相机的内部参数包括焦 距和像平面屮心点等。由于特征点数目不多,其提取和匹配暂时采用了人工方法。实验结果 见表2和图5,其屮旋转角度的真实值在操纵机器人的过程屮获得。 国科技论又在线 http:/www.paper.edu.cn 图4.用于初始位姿估计的札器人图傻序列中的第1和第4幅图像 表2.由第1和第4幅图像求得的机器人初始位姿 连接点方 (-2.0860,-0.4022,8.6) 连接点方2 (-0.0640,1.5707,7.5454) 轴方向方 (0.1858,20.0032,0.9735) 轴方向n2 (-0.0149,-0.0091,-0989 Esta ed value 50 N=9co 因 6 3 image frame image frame 图5.机器臂的旋转角度 参考文献 [J.K. Aggarwal, Q. Cai, W. Liao and B Sabata, Articulated and elastic non-rigid motion: a review, Prod of IEEE Workshop on Motion of Non-rigid and Articulated Objects, pp 2-14, 1994 [21 J.K. Aggarwal and Q. CaL, Human motion analysis: a review", Proc. of TEEe Workshop on Nonrigid and Articulated motio 90)-102,1997 [3]J. A. Webb and J. K. Aggarwal, "Structure from motion of rigid and jointed motions", Artificial intelligence l19 107-130.198 14 R.J. Holt, A. N. Netravali, T.S. Huang and R J Qian, Determining articulated motion from perspective views: a decomposition approach, Pullern Recognilion, vol 30, pp 1435-1449, 1997 Pan Chunhong, Chen Shen and Ma Songde, "" Motion analysis of articulated objects and its application in h is”,Chi Irnal of electronics, vol. 9, No. 1, pp. 76-81, Jan. 2000 16] D. Sinclair and K. 7esar, Further constraints on visual articulated motions", Proc. on CVPR, pp. 4-99,1996 [7 L W. Campbell and A F. Bobick, "Recognition of human body motion using phase space constraints", Proc 5th Int'l. Conf on Computer Vision, pp 624-630, 1995 [8] I.A. Kakadiaris, D. Metaxas and R. Bajcsy, "Active part-decomposition, shape and motion estimation of articulated objects: A physics-based approach", Proc. Conf on CVPR, Pp 980-984, 1994 [9] J. Dcutschcr, A Blakc and I Rcid, Articulated body motion capture by annealed particlc filtering, Proc Conf on CVPR, Vol 2, pp 126-133, 2000 [IO] D M. Gavrila and L.S. Davis, " -) model based tracking of human in action: a multi-view approach", Proc Conf on CVPR, pp 73-80, 1996 [11 Hu Changbo, Li Yi, Ma Songde and Lu Hanqing, "Human posture recognition using genetic algorithms and kalman motion estimation, Chinese Journal of electronics, Vol 9, No 4, 2000 国科技论又在线 http:/www.paper.edu.cn [12] Huazhong Ning, Liang Wang, Weiming Hu and Tieniu Tan, ""Articulated Model Based People tracking Using Motion Models", TEEE/Conf on Multimodal Interfaces, 2002 [13 J. F. O'Brien, R. E. Bodenheimer, Jr, G. J. Brostow, and J. K. Hodgins, "Automatic Joint Parameter Estimation from Magnetic Motion Capture Data Proceedings o/ Graphics Interlace, pp 53-60, 2000 [14L. Crda and P Fua and R. Plt nkcrs, R Boulic and D. Thalmann, " Skclcton-Bascd Motion Capturc for Robust Reconstruction of Human Motion, Proc. Conf on Computer Animation, pp 77-83, May 2000 [15] Ying Wu and T.S. Huang, " Capturing articulated human hand motion: a divide-and-conquer approach", Pro 7th Int'Z. Conf on Computer Vision, pp. 606-611, 1999 [16]H C Longuet-Higgins, "A computer program for reconstructing a scene from two projections", Nature, vol 293,pp.133-135,Sept.1981 [17 T.S. Huang and A N. Netravali, " Motion and structure from feature correspondence: A review Proc. of the IEEE, vol. 82, No. 2, pp. 252-268, Fcbruary, 1994 [ 18]R. M. Murray, Z Li and SS Sastry, A Mathematical Introduction to Robotic Manipulation, CRC Press, 1994 [19] C. Bregler and J. Malik, Tracking people with twist and exponential maps,, Proc. Conf on CVPR, 1998, 8-15 3D Articulated motion Estimation from Monocular Image Sequences Zhang Xiaoyun, Liu Yuncai Inst of Image Processing Pattern Recognition, Shanghai Jiaotong Univ, Shanghai (200030) This paper presents a new method of 3D structure and motion analysis for articulated objects from monocular perspective images. An articulated object is modeled as a kinematic chain consisting of joints and links, and its joint structure is estimated within a scale factor using the connection relationship of two links over two images. Then, twists and exponential maps in robotic manipulation are employed to represent the motion of each link, including the general motion of the base link and the rotation of other links around their joints. Finally, constraints from image point correspondences are used to estimate the motion. Simulations and experiments on real mages show the correctness and efficiency of the algorithm Keywrods: Articulated rigid, kinematic chain, motion esimation, exponential maps

...展开详情
试读 10P 论文研究-基于单目图像序列的连接刚体三维运动分析 .pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    抢沙发
    一个资源只可评论一次,评论内容不能少于5个字
    上传资源赚积分,得勋章
    最新推荐
    论文研究-基于单目图像序列的连接刚体三维运动分析 .pdf 16积分/C币 立即下载
    1/10
    论文研究-基于单目图像序列的连接刚体三维运动分析 .pdf第1页
    论文研究-基于单目图像序列的连接刚体三维运动分析 .pdf第2页
    论文研究-基于单目图像序列的连接刚体三维运动分析 .pdf第3页

    试读已结束,剩余7页未读...

    16积分/C币 立即下载 >