采用金字塔执行 L-K 特征点跟踪算法的描述
西北工业大学 覃勋辉 译
1、问题描述
假设有两幅大小相同的 2D 灰度图像
I
和
J
，它们在点
[]
T
x
y=x
处的灰度值分别为
() (,)
I
Ixy=x
和
() (,)JJxy=x
，通常称
I
为第一幅图像，
J
为第二幅图像。实际中，图
像
I
和
J
均是离散的函数，图像左上顶点的坐标值为
[
]
00
T
。令
x
n
和
y
n
分别是图像的宽
度和高度，则图片右下顶点的坐标值为
11
T
xy
nn
⎡
⎤
−−
⎣
⎦
。
若已知第一幅图像
I
中有特征点 []
T
xy
uu=u ，在第二幅图像
J
中存在特征点
[]
T
xy
uu=+=vud 使得
()
I
u
和
()J v
近似，则特征点跟踪的任务是计算
J
中的对应特征
点
v
。 向量 []
T
xy
dd=d 叫做在点 x 处的图像速率，也称为在点 x 处的光流。由于摄像机
针孔成像模型带来透视关系使得完全的对应点并不存在，所以有必要在特征点的 2D 图像邻
域中定义相似性这一概念方便描述特征点的对应关系。相似性定义如下：令
x
w
和
y
w
为两个
正整数，存在光流
d
使得残差
ε
最小，此时图像特征点间相似度最高。可表示为：
() ( )
2
() , (,) ( , )
yy
xx
xx yy
uw
uw
xy x y
xu wyu w
dd Ixy Jxdyd
εε
+
−
=− =−
== −++
∑∑
d
（1）
由上式可知，相似性函数可由图像特征点的
(2 1) (2 1)
xx
ww
+
∗+
邻域求得，这个邻域
范围称为综合窗口，其中
x
w
和
y
w
通常取 2~7pixs。
2、描述跟踪算法
精确性和鲁棒性是判断特征点跟踪算法优劣的关键因素。跟踪算法的局部亚像素定位能
力决定了算法的精确性。很明显小的综合窗口（对应小的
x
w
和
y
w
值）有助于保持图像中的
局部细节，当图像块间存在较大速率时（形变严重）常用小的综合窗口。
鲁棒性是指算法对光照变化、图像区域移动时稳健的跟踪能力。特别是为了使算法能够
处理大的图像区域移动，需要设置一个大的综合窗口。的确，如果仅考虑公式（1），算法已
经默认为
x
x
dw≤
和
y
y
dw≤
（除非有先验的匹配信息可用否则只能选择大的综合窗口）。因
此，难以选择一个适当的综合窗口使其同时满足算法的精确性和鲁棒性要求。为了解决这个
问题，本文引入迭代的高斯金字塔实现经典的 L‐K 特征点跟踪算法，使得 L‐K 光流计算达到
