图像分割演进之路

小明很幸运，刚毕业就收到了一家大型医疗公司实习生的offer，今天是他入职第一天，刚到公司经理就问了他一个问题：什么是图像分割？小明不假思索地回答：对图像上的每一个像素进行分类！经理很满意，决定让他来接手图像分割模块。
小明很快就接到了第一个任务：将下面的苹果分割出来。

小明很快想到了基于阈值的分割，其关键是得到合理的阈值，可以通过先验知识获取阈值，但现实中大多通过计算得到，例如，直方图。
这里顺便讲一下直方图，直方图是一种很流行的统计方法，本次应用的是颜色直方图，顾名思义是用来统计灰度的分布，横坐标是灰度值，纵坐标是该灰度的分布，但该统计并不包括位置信息。
根据灰度直方图，小明很轻松地就得到了苹果区域的灰度值201，灰度图中0代表黑色，255代表白色。
得到了苹果区域的灰度值，就可以基于阈值进行分割，阈值可以设置为背景和苹果中间任意一点，例如，阈值设置为100，Opencv中阈值分割函数：
threshold( src_gray, dst, threshold_value, max_binary_value, threshold_type );

threshold_value就是我们计算的阈值100，threshold_type是个很有意思的参数，可以控制分割结果，例如，如果无法计算出阈值，可以设定THRESH_OSTU,算法自动计算一个阈值。

基于阈值的分割方法虽然简单，但适用性很小，现实中的图像并不像苹果图像这么简单，例如，目标灰度并不单一，且不同类别灰度有重合，图像受噪声影响等，我们很难算出一个合理的阈值，经理希望小明能设计一个更加稳健的分割算法。
小明决定换个思路，如果找到了目标的轮廓，那不就能实现分割了嘛，下面看一下Opencv中的sobel和canny边缘检测算法。
Sobel边缘检测：
边缘检测易受噪声影响，所以先进行平滑
GaussianBlur(image, src, Size(3, 3), 0, 0, BORDER_DEFAULT);

Mat grad_x, grad_y;

Mat abs_grad_x, abs_grad_y;

计算X Y方向梯度

/// Gradient X

Sobel(src_gray, grad_x, ddepth, 1, 0, ksize, scale, delta, BORDER_DEFAULT);

/// Gradient Y

Sobel(src_gray, grad_y, ddepth, 0, 1, ksize, scale, delta, BORDER_DEFAULT);

X Y方向的梯度按权重相加，结果大于阈值的就是边缘

convertScaleAbs(grad_x, abs_grad_x);

convertScaleAbs(grad_y, abs_grad_y);

addWeighted(abs_grad_x, 0.5, abs_grad_y, 0.5, 0, grad);

Canny边缘检测：

基于边缘检测的分割仍依赖目标有清晰的边缘，但对于医疗图像，目标解剖位置有遮挡，边界不容易得到，所以分割结果也不准确，经理希望小明继续优化分割算法。
既然是图像分割，那每一类分割目标区域像素间肯定有很高的相似度，基于这个前提，小明决定再换个思路，采用基于区域的分割方法。
说到基于相似性分类，那首先肯定会想到聚类，例如Kmeans，基于灰度值进行聚类。

但对于CT图像而言，不同组织间的CT值差别可能不是很大，这样就容易把不同组织聚成一类，所以后续又出现了改进模型，模糊C均值聚类，以及各种改进模型。
KNN分类过程过于简单，单纯依赖于距离，并没有对数据分布进行假设，高斯混合模型是一种概率模型，它假设所有数据点都是从具有未知参数的高斯分布的混合中生成的。

Opencv中的GrabCut就是基于高斯混合模型进行图像分割，但GrabCut需要用户指定背景像素集，属于非全自动分割方法。
说到GrabCut，那就不得不提一下Graph cuts，他是基于图论进行图像分割，这种方法也需要用户指定前景和背景种子点，也属于非全自动分割方法。

下面介绍另一种基于区域相似性原则的图像分割方法，分水岭方法，是一种基于拓扑理论的数学形态学的分割方法，颜色值代表海拔，，一幅图像可以分为多个盆地，水从每个盆地最底部外溢，当水位到达两个盆地边界时，为了防止不同盆的水汇合，人工筑起一道水坝，这个水坝就是分割的边缘。

Opencv分水岭算法：
watershed( img0, markers );

该方法也需要人为设定每个盆地种子点，或者通过各种变换计算种子点，还有一种需要人为设定种子点的方法是区域增长法，也是依据区域相似度进行区域增长。
基于区域的图像分割方法大多依赖先验知识，需要人为设定种子点，我们希望能够实现全自动图像分割，且不需要人为干预，经理希望小明沿着这个思路设计图像分割算法。
如果想摆脱人为设定的先验知识，小明决定拿出杀手锏：人工智能，基于深度学习的图像分割技术，尤其是CNN，视觉Transformer已经相当成熟。

以上就是小明应用于图像分割的技术的综述性概括，也是图像分割的辛酸史。