光流估计概念及算法

界说：

由物体和观测者之间的相对运动引起的亮度厘革的速率矢量，从运动前指向运动后的点的矢量即为光流，即两张图片（相邻的两帧）里同一个像素点的运动矢量

传统光流算法假设：

光强稳固假设，用I函数表现光强，在x、y、t时间像素点的光强即是位移之后的光强

对右式做一阶多元的泰勒睁开

分类：

奇怪光流算法：

对特性比力显着的角点、边、像素做跟踪的光流
稠密光流算法：

对图像中全部的像素点做光流，盘算量大，不存在跟踪
盘算效果：

基于光强稳固假设，盘算出来的光流效果是一个光流场，而不是单一的值。光流场由每个像素的运动向量构成，通常表现为两个分量：

• 程度分量（u）：表现程度位移。
  
• 垂直分量（v）：表现垂直位移。
  

终极效果是一个二维向量场，每个像素都有对应的（u, v）值，反映了该像素在时间上的移动。使得我们可以看到整个图像中物体的运动模式，
算法：

•         H-S算法：
  

E：是代价函数，第一项为光强稳固性束缚，第二项为平滑性束缚

出现的效果：

•         L-K算法：
  

重要应用于奇怪光流算法
假设：

• 光强稳固假设：
  
  
  
• 设物体从某一时间运动到另一时间，小窗口里全部的像素点运动完全一样（光流一样）
  

Harris detector：

光强间隔差越大越好

孔镜题目：

从某个孔看到的物体是不全面的，移动方向也是范围的

出现的效果：

当物体的运动速率较快，或遇到停滞物遮挡、物体旋转、光照强度发生厘革时，轨迹会出现丢失
若物体的运动速率很快，那么相邻两时间位移很大，不可以看作是相邻的，光强稳固假设则不创建

为办理该题目提出了图像金字塔
图像金字塔：

将高分辨率的图像压低，像素点会靠近（相邻），则可以利用光强稳固假设

过程：

1.构建金字塔：从高分辨率图像开始，逐层下采样天生差异尺度的图像（即图像金字塔）。
2.盘算光流：从金字塔的顶部开始，盘算高分辨率图像之间的光流，然后向下层转达。
3.多尺度团结：在每一层，团结上层的光流信息和当前层的图像，得到更准确的光流估计，终极团结全部层的信息。

•         Farneback算法：
  

用于稠密光流，不存在跟踪
假设：

基于光强稳固假设

使间隔尽大概小

缺点：

速率慢，对全部点做光流，对于遮挡后的点并不会丢失
出现的效果：

光流法应用：

人体姿势检测
飞行器避障

交通检测、测速

视频补帧、视频减震

一些存在的题目：

自然征象，如烟、火、云、浪花等
镜面反射
光照厘革，光源移动或暗光环境
不告急的运动，如叶子的摆动
快速运动的小物体
训练集较小，训练数据难以获取和标志等