原文链接：单应矩阵Homographmatrix、本质矩阵Fundamental matrix、基本矩阵essential matrix——游振兴
所谓单目视觉就是拍摄一次只用一个摄像机，获取一张影像，区别于双目视觉的地方是，双目视觉在同一时间点上一次性获取两张影像。以下内容全部是针对单目视觉的情况：
在单目视觉重建中，位姿求解一般应用的为本质矩阵。 在小型室内场景重建过程中，通常状态下，使用非退化状态下两帧得到的匹配点，可以通过公式: p2^T *F*p1=0， 根据匹配对p1、p2求解F，进而利用分解方法（SVD）分解F，求出相机位姿变换R、T。
1. 透视投影/中心投影
底片生成：相机模型总结为透视投影，空间点P通过中心投影方式落到焦距 f 固定的底片上，同时丢掉了深度信息。
相机内参：定焦固定头相机会有一个固定的投影关系，其中的参数为相机内参。其他扩展功能相机的内参需要更多的信息获取。
投影模型：物体标记为稀疏点模型之后，在世界坐标系中相机以任一位姿（R,t）观察模型，总能得到唯一的二维平面点位置集合( S(p) )。
2. PNP perspective-n-point
N点透视，给出一个世界坐标系标定的物体/三维点集合。依据透射关系，根据平面图像/N个二维投影点的位置来推算相机的观察者位姿，为PNP。
3. 极线约束
相机经过位姿转换，通过对同一个物体和同一组点观察得到两幅图像，同一组点在两幅图片中位置和顺序不同，但满足相机透视的 极线约束。
图3.1
约束关系表现为：
纠错：此公式还没进化为完全体。
这里的基本矩阵约束称为极线约束，如上图3.1，如果两帧之间的一个点坐标，外参矩阵已知，则空间点在另外一帧的坐标被约束在一条极线上，可以用来缩小图像匹配点的搜索范围。基本矩阵也可以用来计算内参矩阵。
求取位姿：根据一组匹配的点集和极线约束可以得到一个相对固定的位姿转换( R, t )。
本质矩阵：其中E矩阵为本质矩阵 Essential Matrix
基本矩阵：其中F矩阵为基本矩阵 Fundamentl Matrix
4. 退化现象/斜面投影
对一个平面/一组平面上的点进行不同位姿观察，依然会得到两个投影面/两组投影点，这对应了三维稀疏场景重建SLAM中的退化问题。
约束关系变化为：
其中H矩阵为单应矩阵Homograph Matrix。
5.基础矩阵（Fundamental ）、本质矩阵（EssentialMatrix）、单应矩阵 （Homograph Matrix）
5.1 EssentialMatrix
E= t ^ R 为3*3的矩阵，奇异值为 [ u, u, 0] ^ T 的形式。为本质矩阵的内在性质。
性质：理论上综合旋转、平移共有6个自由度，因尺度等价，E有5个自由度。
求解：一般使用8点法求解E，之后通过SVD分解，恢复出R，t 。
5.2 Fundamental Matrix
基本矩阵F和E只差了一个相机内参 F = K^(-T) *E *K^(-1) ，如果需要，直接带入求解。
5.3 Homograph Matrix
单应矩阵的定义与R、t、平面参数相关，单应矩阵为3*3的矩阵，自由度为8，求解的思路和E、F相似。
求解：可用一组不共线但共面的4个匹配点来计算矩阵H。
总结：
根据图像来估计位姿，一般称之为位姿追踪。非退化状态下可是根据匹配点求解Essential Matrix ，退化状态下课根据匹配点来求解Homograph Matrix。用于实时计算位姿
原文链接：单应矩阵Homographmatrix、本质矩阵Fundamental matrix、基本矩阵essential matrix——游振兴
所谓单目视觉就是拍摄一次只用一个摄像机，获取一张影像，区别于双目视觉的地方是，双目视觉在同一时间点上一次性获取两张影像。以下内容全部是针对单目视觉的情况：
在单目视觉重建中，位姿求解一般应用的为本质矩阵。 在小型室内场景重建过程中，通常状态下，使用非退化状态下两帧得到的匹配点，可以通过公式: p2^T *F*p1=0， 根据匹配对p1、p2求解F，进而利用分解方法（SVD）分解F，求出相机位姿变换R、T。
1. 透视投影/中心投影
底片生成：相机模型总结为透视投影，空间点P通过中心投影方式落到焦距 f 固定的底片上，同时丢掉了深度信息。
相机内参：定焦固定头相机会有一个固定的投影关系，其中的参数为相机内参。其他扩展功能相机的内参需要更多的信息获取。
投影模型：物体标记为稀疏点模型之后，在世界坐标系中相机以任一位姿（R,t）观察模型，总能得到唯一的二维平面点位置集合( S(p) )。
2. PNP perspective-n-point
N点透视，给出一个世界坐标系标定的物体/三维点集合。依据透射关系，根据平面图像/N个二维投影点的位置来推算相机的观察者位姿，为PNP。
3. 极线约束
相机经过位姿转换，通过对同一个物体和同一组点观察得到两幅图像，同一组点在两幅图片中位置和顺序不同，但满足相机透视的 极线约束。
图3.1
约束关系表现为：
纠错：此公式还没进化为完全体。
这里的基本矩阵约束称为极线约束，如上图3.1，如果两帧之间的一个点坐标，外参矩阵已知，则空间点在另外一帧的坐标被约束在一条极线上，可以用来缩小图像匹配点的搜索范围。基本矩阵也可以用来计算内参矩阵。
求取位姿：根据一组匹配的点集和极线约束可以得到一个相对固定的位姿转换( R, t )。
本质矩阵：其中E矩阵为本质矩阵 Essential Matrix
基本矩阵：其中F矩阵为基本矩阵 Fundamentl Matrix
4. 退化现象/斜面投影
对一个平面/一组平面上的点进行不同位姿观察，依然会得到两个投影面/两组投影点，这对应了三维稀疏场景重建SLAM中的退化问题。
约束关系变化为：
其中H矩阵为单应矩阵Homograph Matrix。
5.基础矩阵（Fundamental ）、本质矩阵（EssentialMatrix）、单应矩阵 （Homograph Matrix）
5.1 EssentialMatrix
E= t ^ R 为3*3的矩阵，奇异值为 [ u, u, 0] ^ T 的形式。为本质矩阵的内在性质。
性质：理论上综合旋转、平移共有6个自由度，因尺度等价，E有5个自由度。
求解：一般使用8点法求解E，之后通过SVD分解，恢复出R，t 。
5.2 Fundamental Matrix
基本矩阵F和E只差了一个相机内参 F = K^(-T) *E *K^(-1) ，如果需要，直接带入求解。
5.3 Homograph Matrix
单应矩阵的定义与R、t、平面参数相关，单应矩阵为3*3的矩阵，自由度为8，求解的思路和E、F相似。
求解：可用一组不共线但共面的4个匹配点来计算矩阵H。
总结：
根据图像来估计位姿，一般称之为位姿追踪。非退化状态下可是根据匹配点求解Essential Matrix ，退化状态下课根据匹配点来求解Homograph Matrix。用于实时计算位姿