【论文笔记】基于 VR 的移动机器人真实环境三维建模系统

摘要

【针对问题】传统的虚拟现实技术存在速度慢和模型与现实物体尺度之间存在偏差的问题。

【提出模型】基于 VR 的移动机器人的真实环境三维建模系统。

【具体细节】（1）视觉SLAM——高精度的、稠密的三维点云地图；（2）将三维点云通过曲面重建为室内三维
模型并导入到 unity 3D 中；（3）借助 VR 设备将室内三维模型置于三维立体的虚拟环境中；（4）再用视觉SLAM技术实现室内重定位，实时映射机器人在模型中完成交互。

【达到效果】（1）具有快速性；（2）解决了场景尺度偏差问题；（3）生成地图具有复用性；（4）让操作人员具有场景感。

关键词

1. 视觉 SLAM；
2. 虚拟现实；
3. 三维建模；
4. 室内建模；

1 引言

虚拟现实（Virtual Reality, VR）通过计算机模拟虚拟环境从而给人以沉浸感

意义：对实际物体建立合适的数学模型，以便机器人更好地分析作业

虚拟三维场景的构建工具：

1. 建模软件 $\to$ 3DS MAX $\to$ 通用性软件；建模效率低，建模者要求高（对实时渲染环境要求更高）；

2. 三维激光扫描建模技术 $\to$ 速度快、精度高、成本低；数据量大 $\to$ 难以在 VR 系统内运行，要和全站仪等测绘设备一同使用 $\to$ 对操作者要求高；

3. SLAM技术 $\to$ 可以更加高效地构建场景 $\to$ 分为基于激光雷达的和基于视觉传感器的

   基于激光雷达 $\to$ 优点：不受光照的影响 $\to$ 代表：Junhao Xiao 等人提出通过 LOAM 算法构建点云地图实现三维场景地图 $\to$ 不足之处：每个点颜色表示其高度但却缺失了地图原有的颜色和纹理信息， 点云地图的表示形式也使结构细节模糊或缺失

   基于视觉传感技术 $\to$ 体积小、便携容易、具有丰富的色彩和纹理信息

   （1）ORB-SLAM 2：第一个用于单目相机、双目相机和RGB-D相机的开源系统；具有闭环、重定位和地图重用部分；缺点是使用单目相机 $\to$ 鲁棒性较差

   （2）VINS-Mono：单目视觉惯性系统的实时SLAM框架；惯性单元 + 视觉信息 紧耦合；能解决单目上尺度不确定的问题；构建出稀疏三维地图

   （3）Voxgraph：基于符号距离函数的大规模三维重建方法；子地图 $\to$ 降低存储和优化的代价；通过实时获得重力方向来降低位姿估计问题的维度（系统假设）。

4. 本文工作 $\to$ 视觉SLAM技术与VR技术结合 $\to$ 基于 VR 的移动机器人的真实环境三维建模系统 $\to$ 效果：解决人工建模效率低下、激光SLAM缺乏纹理结构信息问题；验证重定位模块有效、模型地图可以复用。

2 系统框架

由机器人端和虚拟现实端两个模块组成

机器人端：

1. （对机器人自身的位姿估计）利用 RGB-D 相机和 IMU 采集相应的数据，通过视觉里程计前端估计机器人位姿；
2. （对机器人所在的地图构建估计）Voxgraph 算法作为后端优化位姿和构建全局地图 $\to$ 三维点云地图 $\to$ 经过表面重建生成三维模型地图 $\to$ 发送到 VR 端；

VR端：

1. 操作人员根据实时视频流和三维模型地图中机器人位姿做出决策 $\to$ VR手柄发出控制命令；
2. 实现机器人重定位，在三维模型地图中可视化‘；

2.1 点云地图与重定位

1. VR手柄控制 $\to$ 数据采集；

2. 视觉SLAM算法 $\to$ 稠密点云三维场景地图构建；

3. 前端 $\to$ 采用 VINS-Mono 作为视觉-惯导里程计初步估计位姿、生成子点云地图； $\to$ 完成后端所需要的三个约束计算；

4. 后端 $\to$ 三种约束（配准约束、里程计约束和回环约束）构造最小二乘完成对位姿图的优化；

$$\arg \underset{x}{\min }\sum _{(i,j)\in R}||e_{reg}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\sigma }_r}^2+\sum _{(i,j)\in O}||e_{odom}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\Sigma }_O}^2+\sum _{(i,j)\in L}||e_{loop}^{i,j}(T_{W{S}^i}{T}_{W{S}^i},T_{W{S}^j}{T}_{W{S}^j})|{|}_{{\Sigma }_L}^2$$

​ χ = { T W S 1 , T W S 2 , ⋯   , T W S N } → \chi=\{ \pmb{T_{WS^{1}}},\pmb{T_{WS^{2}}},\cdots,\pmb{T_{WS^{N}}} \}\rightarrow χ={TWS1​TWS1​,TWS2​TWS2​,⋯,TWSN​TWSN​}→ 里程计初始估计的位姿，是四维向量；

​ R、O、L $\to$ 准配约束（registration）、里程计约束（odometry）、回环约束（loop）

5. 重定位模块 $\to$ 条件：再次进入环境；措施：使当前滑动窗口帧与过去的位姿图对齐 $\to$ 判断当前图像中的特征点与位姿图中特征点的相似度是否大于设定的阈值 $\to$ 如果超过了阈值即判断为重定位成功 $\to$ 通过逆深度求解相机在地图中的位姿实现重定位

2.2 生成模型地图

稠密三维点云 $\to$ 曲面重建算法处理 $\to$ 精细化三维场景模型和与之对应的纹理贴图

曲面重建算法：基于 Possion 重建改进

Step 1： 去噪声和降采样

去噪 $\to$ 统计滤波器 $\to$ 除去离群点 $\to$ 离群点存在会导致建模出的场景不平滑

​ 原理：点$p_i$通过KNN邻近算法得到领域快$B_j\in NbhdNbhd(p_i)$，计算$p_i$与领域中心点的距离$x$，根据距离分布满足高斯分布的原理，剔除平均距离在标准差范围之外的点即为剔除离群点；

降采样 $\to$ 最远点采样法 $\to$ 满足完备性的基础上提高速度 $\to$ 尽可能覆盖空间中所有点

​ 原理：在输入点云数 $N$ 的集合 $A$ 中随机选择点 $P_0$ 作为起始点 $\to$ 得到采样集合 B = { P 0 } B=\{ P_{0} \} B={P0​} $\to$ 计算集合 $A$ 中剩余点到集合 $B$ 中点的距离 $\to$ 选择距离最远的点作为 $P_1$ 添加到集合 $B$ 中

​ $\to$ 当集合 B 中点数大于1，满足公式：
$$\max \left(\min \right[\begin{array}{cccc}{d}_{1,1}& d_{1,2}& \cdots & d_{1,N}\\ d_{2,1}& d_{2,2}& \cdots & d_{2,N}\\ \cdots & \cdots & \cdots & \cdots \\ d_{N-2,1}& d_{N-2,2}& \cdots & d_{N-2,N}\\ d_{N-1,1}& d_{N-1,2}& \cdots & d_{N-1,N}\end{array}\left]\right)$$
​ $d_{i,j}\to$ 集合 $A$ 中剩余点到采样集合 $B$ 中的距离

​ $\max \min (\cdots )\to$ 先取矩阵中每一列的最小值 $\to$ 一个行向量 $\to$ 向量中元素最大值对应的点 $\to$ 采样点

​ $\to$ 直到获得 $N$ 个采样点

Step 2： 计算每个点的法线

根据领域计算质心 $\to o_i=\frac{1}{k}{\sum }_{j=0}^{j<k}{p}_j$

构建协方差矩阵 $\to$ $covcov=\frac{1}{k}{\sum }_{B_j\in NbhdNbhd(p_i)}(B_j-o_i)(p_i-o_i{)}^T$

协方差矩阵 SVD 分解 $\to$ 最小特征值对应的特征向量即为法线 $\vec{N}\vec{N}$

Step 3： Possion 曲面重建生成模型

1. 思想：for 点云$S$，$M$ = 物体表面 $\to$ $\partial M$ = 物体的边界，$\vec{N}\vec{N}\to$ 物体内外的方向

   隐式地拟合一个由物体派生的指示函数 ${\chi }_M$：曲面重构问题 $\to$ 重构指示函数 $\to$ 等值面提取

$${\chi }_M(q)=\{\begin{array}{ll}1,& q\in M\\ 0,& q\notin M\end{array},q代表点云中的一个点$$

2. 基本原理：

   ​ （1）对输入点集建立深度为 $DD$ 的八叉树 $\varrho \varrho$ 拓扑关系并对每一个节点 $o$ 附加 一个节点函数 $F_o$

   ​ $o_c\to$ 节点的中心； $o_w\to$ 节点的宽度
   $$F_o(q)=F(\frac{q-o_c}{o_w})\frac{1}{o_w^3}\text{\hspace{1em}(1)}$$
   ​ （2）引入基函数 $FF$ 描述节点函数和向量场 $\vec{V}\vec{V}$ 之间的关系
   $$F(q)=F(\frac{q}{2^D})\text{\hspace{1em}(2)}$$
   ​ （3）引入高通滤波器将有向点集的表面重建转换为一个空间泊松问题
   $$\begin{gathered} F(x,y,z)=(B(x)B(y)B(z){)}^{\ast n} \\ B(t)=\{\begin{array}{ll}1,& |t|<5\\ 0,& otherwise\end{array}\text{\hspace{1em}(3)} \end{gathered}$$
   ​ （4）指示函数所代表的表面梯度域的向量场
   $$\vec{V}\vec{V}(q)=\sum _{s\in S}\sum _{o\in Ngb{r}_D(s)}{\alpha }_{o,s}{F}_o(q)s.\vec{N}\vec{N}\text{\hspace{1em}(4)}$$
   ​ $Ngb{r}_D(s)$ $\to$ 当前节点 $s.p$ 的八个临近节点

   ​ α { o , s } \alpha\{o,s\} α{o,s} $\to$ 插值的权重

   ​ （5）求解问题简化
   $$\sum _{o\in \varrho }\left|\right|⟨\Delta \chi -\nabla \cdot \overrightarrow{VV},F_o⟩|{|}^2=\sum _{o\in \varrho }||⟨\Delta \chi ,F_o⟩-⟨\nabla \cdot \overrightarrow{VV},F_o⟩|{|}^2\text{\hspace{1em}(5)}$$
   ​ 求解函数 $\chi$ 的方法：通过该函数在函数空间投影的拉普拉斯算子与 $F_o$ 构成的向量逼近 $v$ 解决转换成 ${\sum }_{o\in \varrho }||v-v_o|{|}^2$；

   ​ 矩阵操作求解向量 $\to$ 算法定义了一个 $v\times v$ 阶矩阵 $L$ $\to$ 每一项是拉普拉斯算子和每一个节点函数的点乘结果 $⟶$ 求解 ${\min }_{x\in R^{|\varrho |}}||Lx-vLx-v||$ $⟶$ 移动立方体法 $⟶$ 提取得到等值面

Step 4： 点云三角化生成纹理贴图

对在表面 $S$ 的点进行三角化操作：沿着三角化的顶点与贴图平面 $UV$ 坐标进行匹配映射，贴图颜色信息为三个点对应的三个通道的灰度平均值

Step 5： 模型和纹理贴图进行配对

将贴图与法线正向方向 的模型一侧匹配映射

3 实验与分析

构建方法评估数据集 $\to$ EuRoC数据集

• 三维重建数据包获得工具 $\to$ Release D435i 相机

• 系统运行平台 $\to$ Ubuntu 16.04 64 位台式机

• CPU $\to$ i9-10900X(10 核@3.70GHz)

• GPU $\to$ 64G 内存 GTX 2080Ti

• 机器人运行平台 $\to$ NVIDIA Jetson Xavier

3.1 SLAM 点云地图生成

1. 对比 $\to$ ORB-SLAM 2 、OKVIS

2. 运行次数 $\to$ 每个系统 10 次，

3. 计算指标 $\to$ 在数据集上的绝对轨迹误差（ATE）中的均方根误差 （RMSE）的平均值来评估本文系统的定位精度

结论

1. 工厂数据集（MH-）中：本系统以及其他 SLAM 系统的定位误差均较小， ORB-SLLAM2 表现最优
2. 室内场景（V-）中，除了在 V202 中，本系统（Ours） 的定位精度不仅远高于 OKVIS 系统且优于 ORB-SLAM 2 系统，在所有数据集上表现出较高的稳定性， 没有出现跟踪失败的结果
3. 稠密的三维点云地图结构细节更加丰富

3.2 三维地图模型的生成

最后本系统经过统计滤波器（K=50）去噪后获得具有 86560 个点的稠密点云地图

通过对改稠密点云地图进行 FPS 降采样到不同的点云数，再通过曲面重建生成三维地图模型

1. COLMAP、OpenMVG、OpenMVS 作为对比项
2. 计算指标：对比模型化所消耗的时间，相应产生的面数

结论

1. COLMAP+OpenMVS 和 OpenMVG+OpenMVS 由于提取的特征点数较多所以在时间上耗时严重
2. 随着采样点的减少，模型重建的时间也相应减少
3. 降采样到 30000 个点云左右为模型的最佳选择

3.3 重定位

结论

1. 每次都成功初始化和重定位

2. 系统的重定位平均误差为 0.31$m$

4 结论

可推广应用于室内特殊环境下的信息规划、室内建筑与装饰设计、计算机设施管理以及古文物修复等多个领域