物联网空间数据质量经典管理技术的特点介绍

• 一.介绍

        随着时代的发展，物联网迅速发展，物联网在我们的生活中也有越来越多的应用，在物联网快速发展的同时，物联网的设备也越来越多，我们将见证从物理世界收集的物联网数据的爆炸式增长，空间物联网数据(SID)的质量问题已经成为物联网空间应用的一个障碍。在本文章中我们简单地介绍了部分用于业务目的之前控制和提高空间物联网数据(SID)质量的选定技术的特点，包括位置细化(Location Refinement)、异常值去除(Outlier Removal)、数据集成(Data Integration)任务 。

• 二.位置细化(LR)

        给定一组来自物联网基础设施的测量值 x, x 的定位是通过一个可以建模为函数 f: X   Y 的算法来执行的，该算法将测量值(如 x∈ X)映射到位置 y∈ Y。LR技术根据输入的数据情况，分为3个主要的类别，分别是多元集成(Ensemble) LR、基于运动的LR (Motion-based LR)以及协调LR，具体关系可以参考下图1

                                                   图1.位置细化的3个主要类别

        多元集成LR的优势是与单源集成相比可能有更好的定位精度，多源集成LR涉及多个独立的定位过程，并融合它们的定位结果以提高yˆ的定位精度，所以多源集成需要来自更复杂部署设置的多方面信息。在基于运动的LR方法中，X指的是单个物体的连续测量，由于时变噪声会对单个时间点的定位精度和鲁棒性产生不利影响，基于运动的LR引入运动动力学知识和历史测量值，以改进当前随时间变化的定位结果。通常，基于运动的LR依赖于定位序列的时空相关性建模。时空相关性建模的代表性技术包括贝叶斯滤波器、概率图模型(Probabilistic Graph model, PGM)和循环神经网络(Recurrent Neural Networks, RNN)。其中PGM更适合于将对象位置建模为离散和分段常数状态的场景，RNN擅长捕捉观察和结果的复杂顺序依赖关系。基于运动的LR模型都需要大量的历史数据来进行训练。此外，基于运动的LR很难在分散计算环境中实现。我们对上述三类模型进行了比较。首先，RNN比PGM使用更多的训练数据，远远超过贝叶斯滤波器。其次，在复杂场景中，RNN往往能取得相对较好的性能。第三，PGM可以明确地纳入移动知识，因此适用于已知的场景空间信息。在协同LR方法中，X表示多个目标在单个时间点的观测，协同LR需要大量的对象(设备)来进行数据和控制协调，这在连通性动态变化的物联网环境中是一个挑战。总的来说，大多数LR基于概率模型。时空依赖(如马尔可夫)被广泛应用于基于运动的LR中，空间约束可以被纳入贝叶斯滤波器和PGM中。与在单个时间点细化结果的集成和协作LR相比，基于运动的LR通常能够获得更高的精度。然而，基于运动的LR通常需要大量的真实位置值(地面真实值)来参数化模型。

三. 异常值去除(OR)

       在这里我们分别考虑轨迹和（时空物联网数据）STID的OR技术。我们可以先通过图2来简单的看一下轨迹点OR的三个子类，和三种类型的STID离群值（未包括轨迹点异常点）

 

                                图二.异常点去除中轨迹点OR的三个子类和STID

        OR的三种类型的STID离群值轨迹点OR旨在移除与上下文点显著不同且不符合轨迹下预期的正常移动行为的每个位置点。基于约束的OR检测基于邻域信息的违反移动约束的异常点，如最大允许速度。这类方法实现起来很简单，但它们不能很好地应对动态和噪声轨迹。基于统计OR根据一个轨迹或一组轨迹的统计剖面来识别异常点。由于对统计的依赖对于历史数据，这些方法在可用历史数据受限的场景中不起作用。基于预测的OR将与从历史数据预测的值不同的值标识为离群值，然后用预测值修复离群值。时空物联网数据（STID）有三种类型的STID离群值，在图中有“轨迹点异常点”这个是一个特殊的异常点。

四.数据集成(DI)

       在这里我们将用于SID的DI技术分为两类，即语义DI和非语义DI，前者涉及语义数据源和可理解数据源，关注它们与原始SID的集成，以丰富SID的可解释性。后者不考虑语义方面的因素，而是将多角度的时空观测数据进行比较和组合，以消除不一致性，提高集成数据的可靠性。在图3中，我们可以简单的了解到语义DI的目的和非语义DI的类型。

 

                                                               图3. 语义DI的目的和非语义DI的类型。

        轨迹语义依赖分析旨在为原始轨迹在特定时间戳或时间段内添加概念或补充知识，以促进对轨迹的直接、简洁和可解释的利用。根据要与位置关联的内容，可分为面向知识的技术和面向事件的技术。非语义DI技术可分为三种情况：轨迹+轨迹，轨迹+STID，以及STID+STID。目前的泛在定位系统使用不同的基础设施和算法构建，产生不同格式、分辨率或ID系统的轨迹。轨迹+轨迹的目的是为这些不同的轨迹生成一种统一的表示。轨迹+STID根据空间或时间属性的相似性，将空间或时空测量附加到位置轨迹的点或段上。STID+STID基于多源时空测量的共性，融合多源时空测量。总的来说，轨迹的语义DI通常利用地理语义(如POI类别、室内或道路网络约束以及个人偏好)引起的时空数据规则性。为了有效地未物联网远端(edge)的数据分配语义计算和流计算已被用于STID的语义DI。非语义DI[93, 261, 283]主要利用了数据的时空依赖。