深度神经网络的不确定性下

不确定性的测量和质量

顾名思义，我们有了各种建模和估计不确定性的方法，就需要不同的测量来评估他们的好坏。通常情况下这些方法的正确性和可靠性是不能自动算出来的。其中存在的挑战如下：

• 第一，不确定性估计的质量取决于不确定估计的根本方法。Yao等人的研究表明，贝叶斯推断的不同近似(如高斯近似和拉普拉斯近似)会导致不同质量的不确定性估计。
• 第二，不确定性估计没有ground truth，如何定义ground truth是个问题。例如，如果我们将基础真理的不确定性定义为人类受试者的不确定性，我们仍然需要回答这样的问题:“我们需要多少受试者?”或“如何选择受试者?”
• 第三，缺乏统一的定量估计的测度。更具体地说，不确定性在不同的机器学习任务中有不同的定义，如分类、分割和回归。例如，预测区间或标准偏差被用来表示回归任务中的不确定性，而熵(和其他相关的措施)被用来捕获分类和分割任务中的不确定性。

估计分类任务中的不确定性

对于分类任务而言，网络的softmax输出已经代表了置信度的测量，但是原始的softmax输出既不可靠，也不能代表所有的不确定度来源，因此还需开发进一步的方法和测量。

测量分类任务中的数据不确定性

考虑有K个不同类别的分类任务，输入样本x对应的网络概率向量输出为p(x)。通常情况下给定的预测p是分类分布，而这种逐点预测可以被视作数据不确定度的估计。然而模型估计出来的数据不确定度会受到模型不确定性的影响。为了估计数据不确定程度，通常使用最大类别概率以及熵，
Maximal probability: p max = max ⁡ { p k } k = 1 K Entropy:H ( p ) = − ∑ k = 1 K p k log ⁡ 2 ( p k ) \text{Maximal probability:} \quad p_{\text{max}} =\max\left\{p_k\right\}_{k=1}^K \\[1em] \text{Entropy:} \text{H}(p) =-\sum_{k=1}^Kp_k\log_2(p_k) Maximal probability:pmax​=max{pk​}k=1K​Entropy:H(p)=−k=1∑K​pk​log2​(pk​)

测量分类任务中的模型不确定性

测量分类任务中的分布不确定性

完备数据集性能测量

估计回归任务中的不确定性

测量回归任务中的数据不确定性

测量回归任务中的模型不确定性

估计分割任务中的不确定性

分割中的不确定估计非常类似于分类任务。可以使用近似贝叶斯推断和测试时数据增广技术。像素级分割的不确定度用置信度间隔、预测方差、预测熵、互信息等度量。整体的不确定性估计通过像素上的平均获得。整体不确定性的质量通过变化系数、平均dice分数或者交并比来评估。这些度量测量了多次逐对范式估计下的重叠区域一致性。理想情况下，一个错误的分割会导致像素级和整体不确定性的增加。为此，有人实验分析了不同不确定性阈值下筛选出的像素的真阳率、假阳率以及roc曲线。

校准

校准方法

正则化方法

后处理方法

不确定性估计校准方法

估计校准质量

数据集与baseline

不确定性估计的应用

总结

顾名思义，我们有了各种建模和估计不确定性的方法，就需要不同的测量来评估他们的好坏。通常情况下这些方法的正确性和可靠性是不能自动算出来的。其中存在的挑战如下：

上一篇：深度神经网络的不确定性（中）