07 image模块参考阅读
摘选自OpenMV官网文章
1. 区域与掩膜
默认情况下,image 模块中的每个操作都会处理其源图像的每一个像素。这是最容易描述的行为,当算法的工作确实需要覆盖整个帧时——例如均匀的颜色校正、全局直方图、用于传输的编码处理——这种行为也是正确的。但实际上大多数算法只需要关注其中的一部分。监视彩色标记的色块跟踪器只关心标记可能出现的那部分场景,而不是它身后的墙。形态学清理处理只有在前一阶段标记为候选的像素上运行才是安全的。人脸检测器可能只在较粗略的检测器已经缩小的边界框内运行。image 模块通过两种将操作限定到像素子集的机制来支持这类工作:矩形的感兴趣区域和二值掩膜。它们可以自由组合,几乎每个会处理像素的方法都接受其中之一——或两者——作为关键字参数。
1.1 感兴趣区域
感兴趣区域是由坐标页中介绍的 (x, y, w, h) 四元组所命名的一个像素矩形。该接口上大约有三十个方法接受 roi 关键字参数;当提供该参数时,操作仅在该矩形内的像素上运行,而保持图像的其余部分不受影响。当 roi 为 None 或被省略时,操作会在整幅图像上运行——这与传入 roi=(0, 0, width, height) 的效果相同。
在代码中,该关键字与操作所接受的其他参数并列放置:
# Compute a histogram over a centred crop of the image.
h = img.get_histogram(roi=(64, 64, 128, 128))
ROI 带来的第一个好处是误报控制。只查看桌面的颜色跟踪器永远不会被路过的衬衫触发;只在定义的工作区域内运行的边缘检测器永远不会报告摄像头支架本身的边缘。将搜索区域缩小到算法真正关心的那部分场景,是流水线能为自身可靠性所做的最廉价的改进。
它们带来的第二个好处是由粗到精的流水线。检测结果对象——一个 blob、一个 rect、一个 apriltag 等等——以与 roi 所接受的相同的 (x, y, w, h) 四元组形式暴露其边界框。因此,粗略的第一阶段可以返回一个边界框,该框直接放入下一阶段的 roi,第二阶段便在更窄的区域上运行。每一次渐进的收窄既加快了下一阶段的速度,也使其结果更可靠,因为搜索空间已经被过滤过了。
1.2 二值掩膜
当感兴趣的区域是轴对齐时,矩形是合适的形式。当它不是时——例如曲线区域、非凸区域,或某个较早阶段归类为“匹配”的那些像素——就必须告知操作将自身限定到任意的像素模式上。实现这一点的机制是二值掩膜:一个独立的、与源图像尺寸相同的 Image,用作逐像素的开/关开关。掩膜中非零的像素表示“包含对应的源像素”;零像素表示“不处理该源像素”。
掩膜通常是 BINARY 图像——正是为此目的而存在的每像素一比特的格式——但任何单通道图像都可以使用,因为使用方会将任何非零值视为开启。
滤波、阈值和算术方法都接受 mask 关键字参数。每种方法的形式都相同:一个单独分配的、与源图像尺寸相同的二值图像,传入即可。
ROI 与掩膜可以组合。同时传入两者,操作就只在既位于 ROI 内 又 在掩膜中开启的像素上运行。这两种机制为应用代码提供了相互独立的调节手段——一个用于矩形的感兴趣区域,一个用于其中任意的模式——而不会让任一形式继承另一形式的约束。
1.3 构建掩膜
有三个 Image 方法通过将所选区域之外的像素清零,就地构建常见的掩膜几何形状:
-
mask_rectangle()保留一个矩形。 -
mask_circle()保留一个圆形。 -
mask_ellipse()保留一个椭圆。
每个方法都接受 (x, y, w, h)(用于矩形和椭圆)或 (x, y, radius)(用于圆形)。不带参数调用它们中的任何一个,都会将几何形状居中并将其尺寸调整为填满图像,当目标是一个除了四角什么也不遮挡的简单全图椭圆或圆形时,应用就会采用这种形式。
mask = image.Image(img.width(), img.height(), image.BINARY)
mask.clear() # start from all zeros
mask.mask_ellipse() # centred, full-size oval
有意思的掩膜很少仅由 mask_* 方法生成。它们来自流水线的较早阶段:阈值处理产生一幅二值图像,其非零像素标记出匹配项,正是适合送入下一阶段 mask= 参数的形式。形态学清理处理在不改变其形式的情况下细化该掩膜。任何最终成为单通道图像的东西本身都是有效的掩膜。
1.4 操作如何修改图像
在前几页的每个代码片段中都能看到一种模式——操作返回同一个 img 以便链式调用——值得明确地提取出来,这样每当引入新方法时就不必再重述一遍。Image 接口上出现了三类方法,每一类对源图像的处理方式各不相同:
-
操作型方法就地修改源的像素,并返回同一图像以便链式调用。绘制、算术、阈值和滤波这几类方法都以这种方式运作。
img.gaussian(1)会模糊img并返回同一个img;重新赋值——img = img.gaussian(1)——无害但没有必要。 -
转换型方法默认与操作型方法一样就地运作,但它们接受
copy=True和copy_to_fb=True,以便在需要保留源图像时分配一幅单独的结果图像。格式转换和几何复制是这一类的主要成员。 -
检查型方法读取像素并返回一个结果对象——检测到的特征列表、直方图、一组统计数据——而完全不修改源图像。
这种三分法在整个接口上是一致的。知道一个方法属于哪一类,就能告诉应用对一次调用应该预期什么:源的像素是否会完好保留、是否会分配一幅单独的结果图像,以及返回值是源本身还是别的东西。
2. 二值阈值化
许多图像处理流程归根结底都是对每个像素提出的一个问题:这个亮度是否落在表示"前景"的范围内?这个颜色是否足够接近红色,以至于就是应用正在跟踪的标记物?这个像素是否属于流程下一阶段应该关注的候选集合?阈值化就是把这些问题在每个位置上转化为二值答案的运算——像素匹配则置为开,不匹配则置为关——从而把整幅图像简化为一个掩码,供流程的其余部分使用。
2.1 binary 方法
binary() 方法用一次调用就能对每个像素执行这种分类。它接受一个阈值范围列表——即像素可以匹配从而算作"开"的条件——并改写图像,使每个至少匹配其中一个范围的像素都被设为该格式的最大值,而每个未匹配的像素都被设为零。其结果就是流程其余部分可以直接使用的二值掩码。
在最简单的形式中,阈值列表只有一个范围,调用返回的是落在该范围内的像素掩码:
img.binary([(120, 255)])
正是列表形式让 binary 变得强大。一个想要跟踪两个彩色标记物的流程,或是想跟踪一个亮度范围加上一个孤立的饱和度峰值的流程,可以把两个范围放在同一个列表中传入,得到一个覆盖所有匹配的单一输出掩码。
2.2 灰度元组
对于灰度图像,阈值列表中的每一项都是一个二元组 (lo, hi),描述一个闭区间亮度范围。值在 lo 和 hi 之间(含两端)的像素匹配;落在该范围之外的一切都不匹配。常见的写法很直观:
-
(0, 60)匹配暗像素——从黑色一直到深灰色。 -
(180, 255)匹配亮像素——从浅灰色一直到白色。 -
(100, 160)匹配中灰像素——亮度范围中部的一个区间。
元组内两个值的顺序无关紧要;如果 lo 大于 hi,该方法会在内部将它们交换,因此 (60, 0) 与 (0, 60) 效果相同。
2.3 用于颜色的 LAB 元组
对于 RGB565 图像,每一项都是一个六元组 (l_lo, l_hi, a_lo, a_hi, b_lo, b_hi),它描述的是 LAB 颜色空间中的一个闭区间范围,而不是直接在红、绿、蓝上描述。这些阈值分别是 L(亮度)、A(绿—红色度轴)和 B(蓝—黄色度轴),各自与像素在该通道上的值进行比较。
采用 LAB 而非直接对 RGB 进行阈值化的原因,在于 LAB 颜色空间设计时所围绕的特性:LAB 将亮度与色度分离。两个显示相同颜色但亮度不同的像素,最终会落在不同的 L 值上,但 A 和 B 值大致相同。这种分离使得阈值范围可以通过颜色在 A 轴和 B 轴上的位置来描述一种颜色,并把 L 范围放得很宽,从而在从阴影到高光的每种亮度下都接受该颜色。基于 RGB 的阈值做不到这一点——光照的任何变化都会同时改变 R、G、B 三个值,建立在 RGB 阈值之上的跟踪器在第一次有云遮住太阳时就会失效。
实用的做法是:选取描述应用正在跟踪的颜色的 A 和 B 范围,并把 L 范围放宽——通常是 (0, 100) 以接受任意亮度——除非应用确实想在颜色之外也对亮度做阈值化。
对于少于六个值的元组,缺失的分量默认取最大范围(即该轴上无约束)。因此,RGB565 阈值列表中的一个二元组 (l_lo, l_hi) 只对亮度做阈值化,并匹配所有颜色。
备注
一个真正放得很宽的 L 范围在低端有一个陷阱。随着亮度趋向于零,每种颜色都会收敛到黑色,A 和 B 值塌陷向零并被噪声主导——因此暗像素可能漂移进 A 和 B 范围,从而被当作目标颜色而被跟踪。如果场景中的黑色区域被标记为匹配,请提高 l_lo,直到它们不再被匹配。
2.4 标志
三个关键字参数控制输出:
-
invert=True翻转结果。每个本应匹配的像素变为零,每个本应为零的像素变为最大值。当用前景不是什么来描述前景更自然时,这很有用。 -
zero=True改变操作模式:匹配的像素被置零,未匹配的像素保留其原始值。当目标是从图像中擦除匹配的像素,而不是把图像简化为它们的二值掩码时,使用这种方式。 -
to_bitmap=True将结果作为一幅BINARY图像返回,而不是覆盖源图像现有的格式。这种每像素一比特的结果正是后续掩码参数可以直接接受的,而且这种转换往往能省去携带一个完整格式掩码所带来的内存压力。
掩码和 ROI 遵循与本接口其余部分相同的约定:roi 矩形将操作限定在一个子区域内,mask 图像将操作限定在任意位置模式内。
2.5 默认就地操作
与算术运算一样,binary 默认就地运行:源图像的像素会被二值输出覆盖,调用之后原始值便不复存在。当需要保留源图像、且输出应为新分配的 BINARY 图像时,to_bitmap=True 形式是替代方案。此外还接受 copy=True 形式,用于在新缓冲区上得到相同格式的结果。
3. 缩放、翻转和裁剪
前面的各小节都是在像素原来的位置上对其进行处理。而变换这一类操作改变了这一点。缩放会把每个输入像素送到一个不同的输出位置,可能一次送到多个输出位置(放大时),也可能送到一个与多个其他输入像素共享的位置(缩小时)。翻转和旋转通过不同的映射做同样的事。裁剪保留输入像素中的一个矩形子集,并丢弃其余部分。
image 模块通过三个方法暴露这一类操作,它们共享大部分参数和大部分行为:
-
copy()—— 生成图像的副本,可能经过缩放、裁剪或重新定向。 -
crop()—— 与copy相同的操作,但预期应用将从源图像中选取一个子矩形。 -
scale()—— 同样的操作,但预期应用将调整结果的尺寸。
这三者共享相同的参数和相同的变换机制;区别在于结果默认落在何处。copy() 生成一幅新图像,而 crop() 和 scale() 则就地修改源图像。
3.1 共享的参数
单次调用可以组合应用所要求的缩放、裁剪、定向和通道提取的任意组合:
x_scale 和 y_scale 分别沿水平和垂直轴独立缩放输入。两者默认均为 1.0(不缩放)。两者取不同的值会产生非均匀缩放——例如,一帧被拉伸到宽是高的两倍。
roi 将输入限制为源图像的一个矩形,只让该矩形内的像素进入后续变换。这就是操作中的“裁剪”部分:传入一个 roi 即可提取子区域。
hint 是一个标志位字段,用于选择插值方法和任何定向翻转。多个标志通过按位或组合(hint=image.BILINEAR | image.HMIRROR)。这些标志分为两组——插值类和定向类——二者互不相关,但共用同一个位字段。
rgb_channel 选择 RGB565 源图像的单个通道。0 表示红色,1 表示绿色,2 表示蓝色;结果以仅包含该通道的灰度图像形式输出。例如,可用于仅对红色通道进行阈值处理。
color_palette 和 alpha_palette 在输出时通过查找表重新映射像素值,方式与转换方法 to_rainbow() 和 to_ironbow() 相同。
copy=True 和 copy_to_fb=True 遵循其他所有产生结果的方法所用的相同约定——默认就地处理,copy=True 分配一个单独的结果,copy_to_fb=True 将结果放入帧缓冲区以供 IDE 预览。
3.2 插值:AREA、BILINEAR、BICUBIC
当缩放将每个输出像素送到一个与任何单个输入像素都不对齐的位置时,该方法必须决定写入什么值。三个标志控制其方式:
image.BILINEAR 在最近的四个输入像素之间进行插值,按它们到输出位置的距离加权。结果比最近邻法更平滑,对角线上没有可见的锯齿,但额外的运算开销约为最近邻遍历的四倍。它是大多数放大工作以及任何非整数缩放因子的恰当选择。
image.BICUBIC 使用三次曲线在最近的十六个输入像素之间进行插值,结果更加平滑,但运算量也随之进一步增加。对于需要的、对成本敏感的应用而言这是最佳质量;但对于 IDE 仅用于显示的实时画面而言,额外的计算很少值得。
image.AREA 对落在输出像素覆盖范围内的每个输入像素取平均——这是缩小的恰当算法。双线性和双三次都是插值器:它们估计源像素之间的值,这正是放大所需要的,但在缩小时每个输出像素覆盖许多源像素,而插值器只读取其中最近的几个——它跳过的细节会以混叠的形式回来。image.AREA 则会把每个被覆盖的像素都折算进平均值。
不带任何 hint 的默认缩放算法是最近邻法,当源图像已经处于目标的像素分辨率时,它最便宜,也是正确答案。
3.3 定向:翻转和旋转
定向标志是一小组布尔变换,它们彼此之间以及与插值标志之间都可以自由组合:
-
image.VFLIP将图像垂直翻转(顶部变为底部)。 -
image.HMIRROR将其水平镜像(左侧变为右侧)。 -
image.TRANSPOSE交换 x 轴和 y 轴(行变为列)。
大多数旋转由组合这三者得到。该模块还暴露了命名的快捷方式:
-
image.ROTATE_90(=VFLIP | TRANSPOSE) -
image.ROTATE_180(=HMIRROR | VFLIP) -
image.ROTATE_270(=HMIRROR | TRANSPOSE)
代码示例:
img.copy(hint=image.ROTATE_90, copy_to_fb=True)
3.4 宽高比处理
当源图像的宽高比与要绘制到的矩形不匹配时,三个标志决定如何处理这种不匹配:
image.SCALE_ASPECT_KEEP 保持源图像的宽高比并对结果进行信箱化处理——源图像被缩放到刚好能放入目标内,目标的其余部分用空(零)像素填充。当保持源图像不变形比填满整个输出更重要时,这是恰当的选择。
image.SCALE_ASPECT_EXPAND 保持源图像的宽高比并对其进行裁剪——源图像被缩放到填满目标,超出目标的部分被裁去。当填满整个输出比看到源图像的每一部分更重要时,这是恰当的选择。
image.SCALE_ASPECT_IGNORE 忽略宽高比,将源图像拉伸以填满目标,接受由此引入的任何变形。当应用已经考虑到这种变形时,这是恰当的选择——例如,当目标的尺寸实际上并非同一场景的等比矩形时。
默认(未设置宽高比标志)与 SCALE_ASPECT_IGNORE 相同:拉伸以填满。关心宽高比的应用应明确指定这三者之一。
3.5 何时使用哪一个
大多数尺寸调整使用 scale(),配合一对 x_scale / y_scale 和一个插值 hint:
img.scale(x_scale=0.5, y_scale=0.5, hint=image.AREA)
大多数旋转使用同样的调用,配合 hint=image.ROTATE_90 或类似参数。
裁剪使用 crop(),配合一个非默认的 roi:
img.crop(roi=(40, 30, 200, 150))
当源图像必须在操作后保留时——例如捕获参考帧,或为一帧即将被破坏性处理的图像拍摄缩略图——copy() 会将结果生成为一幅新图像,并保持源图像不受影响:
thumbnail = img.copy(x_scale=0.25, y_scale=0.25, hint=image.AREA)
这个默认行为正是三个名称背后的真正区别:scale 和 crop 就地变换,copy 进行分配。结果放置关键字弥合了这一差异:在 scale 或 crop 上使用 copy=True 会将结果分配为一个单独的堆缓冲区,而非覆盖源图像;在这三者中任意一个上使用 copy_to_fb=True 都会将结果放入帧缓冲区以供 IDE 预览。
4. 绘制形状和文本
一个对图像做出某种判断的算法,往往需要让该判断可见。色块检测器找到了应用所关心的区域;应用希望将该区域绘制到帧上,以便操作员——或运行脚本的开发者——能看到检测到了什么。一个坐标变换把输入位置映射到输出位置;调试它通常意味着在同一幅图像上标出这两个位置。IDE 预览读取它轮询那一刻位于帧缓冲区中的任何内容,因此让算法输出可见的最简单方法,就是把标注写入帧缓冲区本身。Image 类上的绘图系列正是为这项工作准备的工具集。
4.1 绘图基元
每个绘图方法在图像上放置一种特定的标记。这个目录很小,并且紧贴标注实际所需的几何基元:
-
draw_line()—— 两个端点之间的一条直线段。 -
draw_rectangle()—— 一个轴对齐的矩形,空心或填充。 -
draw_circle()—— 围绕中心的一个圆,空心或填充。 -
draw_ellipse()—— 一个可任意旋转的椭圆。 -
draw_cross()—— 在某点处的一个加号,通常用于标记质心或点击目标。 -
draw_arrow()—— 从起点到终点的一个箭头。 -
draw_edges()—— 给定四个角点,绘制任意四边形的四条边;这是勾勒已检测标签或透视扭曲区域轮廓的自然方式。 -
draw_string()—— 使用内置位图字体绘制的文本。
这些方法中的每一个都会就地修改源图像,并返回同一幅图像以便链式调用,遵循先前确立的操作方法惯例。
4.2 颜色
每个绘图方法都接受一个 color 参数,它决定向每个被绘制的像素写入什么值。该参数采用的形式取决于图像的格式。对于 RGB565 图像,自然的形式是一个 (r, g, b) 元组,每个通道取值范围为 0 —— 255;该模块会在写入前将其打包成 16 位的 RGB565 字。对于灰度图像,自然的形式是单个整数亮度,从 0(黑)到 255(白)。这些方法也接受该格式的原始存储值——对于 RGB565 是一个 16 位打包字,对于灰度是一个 8 位整数——当颜色已在别处计算好并已处于存储形式时,这是高效的形式。
省略 color 参数会绘制白色。该默认值对灰度处理很方便,其中白色是最大值,并且在大多数背景下都清晰可辨。但对于 RGB565 调试叠加层,它几乎总是错误的:绿色或红色通常在摄像头实际看到的那类场景上更易辨认,而显式的颜色能传达意图。
4.3 粗细与填充
大多数几何方法接受两个决定标记如何绘制的标志:
-
thickness=N设置线宽(以像素为单位)。默认值是1,对大多数叠加层来说足够;当某个标注必须在繁忙的场景上保持可见,或在流水线的后续阶段进一步修改图像之后仍要可见时,较大的值会很有用。 -
fill=True将标记从轮廓切换为实心,用所选颜色绘制每一个内部像素。默认值是False。
这些标志不适用于没有内部可填充的基元——线、十字、箭头、四边形——对于这些基元只有 thickness 有意义。
4.4 绘制文本
draw_string() 使用内置的 8×10 像素位图字体绘制字符。x 和 y 是第一个字符单元的左上角,text 是要绘制的字符串,color 遵循与几何方法相同的惯例。该字体涵盖完整的可打印 ASCII 范围且没有字距调整——每个字符占据相同的 8 像素宽单元——这使得输出易于定位。
img.draw_string(10, 10, "blobs: 3", color=(0, 255, 0))
字符串可以包含换行符(\n);每个换行符会把下一个字符移到比上一行低十个像素的新行的开头。scale 参数按一个浮点因子以更大尺寸绘制每个字符,而 x_spacing 和 y_spacing 在每个字符周围添加间距。一小组旋转/镜像/翻转标志可应用于整个字符串或单独应用于每个字符——足以在布局需要时沿某个角度或贴着非水平边缘排布文本。
4.5 清空画布
该系列中的一个方法不绘制任何特定标记。它只是把图像的每个像素重置为零:
clear()—— 将每个像素清零,可选地限制在某个 ROI 内或通过掩码限定范围。
当应用每帧都从头合成一个标注时——从黑色画布开始,绘制新的标注,再把结果交给显示——而不是叠加在捕获的帧之上,clear() 就是正确的选择。它也是准备一幅临时图像用作掩码缓冲区的最廉价方式。
一幅新分配的图像在构造时就已经是零,因此 clear() 尤其对在帧间复用的缓冲区才有意义。
5. 合成图像
上一页中的绘图基元在图像上绘制几何标记——一条线、一个矩形、一段文本。这涵盖了算法需要可视化的大多数标注,但并非全部。有时标注本身就是一幅图像:一个用于与当前帧并排显示的参考帧捕获、显示在预览角落里的上一次捕获缩略图、为校准而叠加在实时帧之上的先前存储的模板。将一幅图像绘制到另一幅图像上的机制只有一个方法——draw_image()——它带有足够多的参数,可以处理真正的合成所需的位置、缩放、调色板以及透明度。
5.1 基本调用
其最简单的形式是,draw_image 接受另一个 Image 和一个绘制位置:
reference = image.Image("/sdcard/reference.bmp")
img.draw_image(reference, x=10, y=10)
目标是 img;源是 reference;源的左上角像素落在 img 的 (10, 10) 处,源的其余像素则从该处向右、向下依次排列。被源覆盖的目标像素会被源的对应像素覆写;位于源覆盖范围之外的像素保持不变。
如果源超出了目标的边缘,超出的部分会被静默裁剪——这与 set_pixel 对越界位置所表现出的宽容行为相同。应用代码无需预先将位置限制在图像尺寸范围内;它可以传入想要的位置,让该方法处理裁剪。
5.2 内联加载文件
draw_image 接受文件路径来代替 Image 参数,并在合成之前加载该文件:
img.draw_image("/sdcard/reference.bmp", x=10, y=10)
这看起来像是一种便利——用一行代替两行——确实如此,但其中的区别不止是语法。从文件构造一个 Image 会分配一个缓冲区来保存解码后的像素,并且该缓冲区会一直存在,直到垃圾回收将其释放。将路径直接传给 draw_image 则让该模块把文件解码到一个临时缓冲区中,从中进行合成,并在调用返回时释放该缓冲区,而无需应用代码在帧与帧之间持有对单独 Image 的引用。
5.3 缩放
当源和目标尺寸不同时——比如将一个低分辨率捕获合成到更高分辨率的画布上,或者一个需要按帧的特定比例调整大小的缩略图——两个缩放参数负责在绘制时调整源的大小:
img.draw_image(reference, x=10, y=10, x_scale=2.0, y_scale=2.0)
x_scale 和 y_scale 是相互独立的浮点数;两者传入相同的值会进行均匀缩放,传入不同的值则会沿某一轴拉伸或收缩源。缩放发生在绘制时;源 reference 不会被修改。
由提示标志组成的位掩码决定了缩放实际上如何在像素之间进行插值。image.BILINEAR 以更多计算为代价产生更平滑的结果;image.BICUBIC 产生更加平滑的结果,开销也更大;默认使用最近邻插值,它是最廉价的,并且在源已经处于目标的像素分辨率时是正确的选择。宽高比处理标志——SCALE_ASPECT_KEEP、SCALE_ASPECT_EXPAND、SCALE_ASPECT_IGNORE——决定当源的宽高比与其被绘入的矩形不匹配时该如何处理。
5.4 Alpha 混合
默认情况下,draw_image 会用源像素替换目标像素。当目标是半透明叠加层时——使目标透过源显示出来——alpha 参数控制两者如何混合。alpha=0 只显示目标(不显示源);alpha=255 是默认值,只显示源(完全替换);中间值则按比例混合两者:
img.draw_image(overlay, x=0, y=0, alpha=128)
单独的 alpha_palette 参数是该模块唯一的逐像素 alpha 机制。它接受一幅 GRAYSCALE 图像,其值被用作源中对应位置处的 alpha——例如,一个 alpha 随其强度变化的热力图。alpha 必须以那个单独的灰度参数提供;一幅自带 alpha 通道的源图像(比如带透明度的 PNG)不会自动带入它。
5.5 源 ROI 与调色板
另外两个参数完善了合成机制:
-
roi=(x, y, w, h)将源限制为其自身的一个子矩形,因此只有该矩形会被合成到目标上。这在同一次调用内进行裁剪时很有用,无需准备一个裁剪后的中间图像。 -
color_palette在绘制之前通过查找表替换每个源像素的值——这与to_rainbow()和to_ironbow()使用的机制相同,此处将其暴露出来,使叠加层在进入目标的过程中即可被调色板化,而无需单独的转换步骤。
两者都与该调用上的其他一切协同工作:缩放、alpha、目标侧的 mask 参数,以及将写入范围限定为目标某个矩形的目标侧 roi 参数。
6. 直方图与统计
除了改变图像像素的操作之外,Image 类还提供了一组用于测量像素的方法——汇总像素值的分布、返回平均亮度与中位亮度、找出暗像素与亮像素之间的最佳分界点、报告各颜色通道的离散程度。这些测量结果以两种方式服务于应用:一是作为决策代码的输入,用于决定使用什么阈值、设置多大增益、场景的色调轮廓是什么样子;二是作为诊断信号——“场景是否足够亮?”——应用可以据此做出反应,而无需针对任何具体像素做决定。
几乎所有测量的起点都是直方图。
6.1 直方图
图像的直方图统计每个可能的亮度值各有多少个像素。对于灰度图像,它是一个以 0 到 255 各值为索引的计数列表。对于彩色图像,它则是三个这样的列表——每个通道一个。
get_histogram() 用于计算直方图:
h = img.get_histogram()
返回的对象是一个 histogram 结果,它提供各通道的箱(bin)计数列表以及一些高层查询。箱计数经过归一化,使其总和为 1.0——直方图描述的是分布的轮廓而非绝对像素数量,这使得不同尺寸图像之间的测量结果可以相互比较。
对于灰度图像,直方图只有一个通道的箱,可通过 h.bins()(或等价的 h[0])获取。对于 RGB565 图像,直方图在二值阈值化页面介绍过的 LAB 颜色空间中计算,三个箱通道分别可通过 h.l_bins()、h.a_bins()、h.b_bins()(或 h[0]、h[1]、h[2])获取。LAB 与阈值化和跟踪方法所使用的颜色空间一致;直方图与阈值在“颜色是在哪个空间中测量”这一点上保持一致。
6.2 箱与箱数量
默认直方图为每个可能的像素值分配一个箱——对于 8 位通道即 256 个箱。有时这比应用所需的分辨率更精细。一个只关心分布大致轮廓的分类器,使用较少的箱数量——32 个甚至 8 个箱——可能效果更好,既运行得更快,又能在面对噪声时产生更干净的结果。bins 关键字参数(以及用于彩色的各通道 l_bins、a_bins、b_bins)用于设置箱数量:
h = img.get_histogram(bins=32)
ROI 和阈值范围限定的工作方式与其他所有测量方法相同。传入 roi 可将直方图限定在一个像素矩形区域内;传入 thresholds 列表则只包含匹配这些范围的像素。阈值形式使得“仅计算匹配像素的直方图”成为一次调用即可完成的操作——这是一种常见模式,当应用想要刻画某个已检测区域的纹理特征,而又无需自行遍历像素时尤其有用。
6.3 统计
直方图描述了每个值出现的频繁程度;统计量则是由直方图推导出的数值汇总。get_statistics() 返回的 statistics 对象提供了一组标准统计量:
-
mean——像素值的算术平均值。 -
median——半数像素低于其值的那个值。 -
mode——出现次数最多的单个值。 -
stdev——标准差,衡量数据围绕平均值的离散程度。 -
min和max——图像中存在的最暗和最亮的像素值。 -
lq和uq——下四分位和上四分位的分界值。
对于 RGB565 图像,各通道形式(l_mean、a_median、b_mode 等)按通道逐一提供相同的测量结果。
这些数值大多在特定场景中派上用场。mean 与 stdev 结合可给出噪声估计:本应均匀的场景其 stdev 较小,而有噪声的传感器会让同一场景的 stdev 变大。min 与 max 给出图像的对比度:二者越接近,场景越平淡;二者相距越远,算法可利用的动态范围就越大。当分布存在离群值时,median 是更稳健的中心(少数极亮像素不会像拉动平均值那样拉动中位数)。mode 是出现次数最多的单个值,对于背景占据大部分像素的图像,它有助于找出图像的背景亮度水平。
get_statistics() 在内部执行一次直方图遍历,然后对其进行汇总;传入与之前计算直方图时相同的 thresholds 和 roi 参数,即可得到针对同一组像素的统计量。
6.4 百分位数与 CDF 查询
histogram 对象提供了一个 get_percentile() 方法,它将一个比例转换为像素值——即低于该值的像素占比恰好为所请求的比例。h.get_percentile(0.5) 即中位数;h.get_percentile(0.05) 与 h.get_percentile(0.95) 结合可给出一个稳健的最小/最大值,它会将底部和顶部各 5% 作为离群值忽略。
当应用想要刻画像素值的范围,又不希望少数零散的亮像素或暗像素扭曲结果时,就会使用这种形式。来自第 5 和第 95 百分位数的稳健最小/最大值,也是对比度拉伸处理的天然输入——即“色调校正”一节所介绍的逐像素重映射。
6.5 Otsu 方法
直方图还能回答另一个值得单独提出的问题:给定一幅像素分裂为“暗”簇和“亮”簇的图像,二者之间的分界点在哪里?阈值化页面已经按其结果命名了这一机制——一个应用可以交给 binary() 使用的全局阈值——但推迟了讲解其实现方式。其实现方式就是 Otsu 方法,它存在于直方图之上。
其直觉是:一幅具有清晰前景和背景的图像,其亮度直方图中会有两个簇,两簇之间有一个谷。最佳的阈值位置是谷底——两簇被分隔得最好的那个值。Otsu 方法会搜索每一个可能的分界点,并选出簇内方差最小(这与簇间方差最大是一回事)的那个,其结果就是针对该特定图像分布的最优二值分割。
histogram 对象通过 get_threshold 提供 Otsu 方法:
h = img.get_histogram()
t = h.get_threshold()
返回的 threshold 对象带有 value(用于灰度)或 l_value / a_value / b_value(用于彩色)属性,承载所选定的分界值。将该结果直接回传给 binary(),即可获得一个自调节的全局阈值,其分界点由图像本身选定:
img.binary([(t.value, 255)])
这种模式并不能解决基于滤波器的自适应阈值所解决的光照不均问题;它解决的是当全局阈值化已经是正确方法时“我应该在哪个值处分割?”这一问题。对于前景/背景区分明确的场景,Otsu 选出的值通常与人眼凭直觉选出的值相差不过几个单位。
6.6 在差值图像上进行计算
关于 get_histogram() 和 get_statistics() 有一个实用的细节:两者都接受一个 difference 关键字参数,它接收另一幅 Image,并计算源图像与该图像之间逐像素差值的直方图(或统计量),而无需分配一幅单独的差值图像。这是一种廉价的方式,可以询问“自参考帧以来场景变化了多少?”,而不必为产生一幅唯一用途就是被测量的图像而付出显式调用 difference() 的代价。对于持续运行的运动检测脚本而言,这样的节省会日积月累。
7. 帧差分
帧差分将每一帧新图像与一个存储的参考帧进行比较,以找出场景中发生变化的部分。它是各类监视场景中是否发生事件的摄像头应用的主力——例如运动触发的拍摄、入侵警报、"当有物体移动时保存一段视频"等——而它完全由前文介绍过的逐像素运算构成:先求绝对差,再做阈值化,最后做区域搜索,并在每一帧上运行。
7.1 基本流程
第一阶段是获取参考帧。在接近启动的某个时刻——理想情况下是当场景处于代表"无变化"的状态时——应用捕获一帧并将其保留下来。这一帧成为后续每次捕获都将与之比较的基准。
reference = csi0.snapshot().copy()
.copy() 很重要。csi0.snapshot() 本身返回的 Image 的缓冲区位于帧缓冲区中,下一次调用 snapshot 会将其覆盖。.copy() 会为参考帧分配一个独立的缓冲区,让这一帧的像素在下次捕获之后依然存在。
第二阶段在每一帧上运行:捕获一幅新图像,然后计算它与参考帧之间的绝对差。这正是 difference() 所做的事:
current = csi0.snapshot()
current.difference(reference)
在这次调用之后,current 保存的图像中,非零像素标记了自参考帧拍摄以来场景发生变化的每一个位置,且每个像素的幅度与该位置变化的程度成正比。
第三阶段对差分图像进行阈值化。原始差分总会包含一些噪声:来自传感器散粒噪声的微小亮度波动、光照漂移引起的梯度变化、摄像头轻微抖动带来的亚像素抖动。一次阈值处理——使用 binary() 并将阈值设置在该噪声底之上——只保留大到足以算作真实运动的变化,丢弃其余部分,从而生成一幅二值图像,其非零像素即为实际发生变化的位置。
第四阶段从该二值掩码中提取连通区域——形成连续斑块的相邻非零像素群。find_blobs() 用一次调用即可完成这一工作,返回一个运动区域列表,每个区域都带有边界框和像素计数,供应用的其余部分使用。
7.2 内存中与磁盘上的参考帧
基本流程将参考帧保存在 RAM 中。当参考帧是在脚本的本次运行中捕获、且只需在脚本持续运行期间存在时,这是正确的做法。
对于长期运行的应用——例如应在断电重启后恢复变化检测的摄像头,或需要检测自某个较早时刻以来任何变化的间歇性脚本——参考帧必须比正在运行的脚本存活得更久。其做法是将参考帧保存到磁盘:
csi0.snapshot().save("/sdcard/reference.bmp")
并在每次运行开始时将其加载回来:
reference = image.Image("/sdcard/reference.bmp")
差分逻辑本身不变;改变的只是参考帧在两次捕获之间存放的位置。一些改进可以自然地扩展这种基于磁盘的变体——例如按定时器自动重新捕获参考帧、可选的滚动平均以跟踪缓慢的光照漂移——但其核心的替换是一样的。
7.3 光源隔离
同样的减法模式也出现在一个略有不同的场景中:将光源从场景的其余部分中隔离出来。其诀窍是捕获一个"熄灯"参考帧——一帧在被检测对象(红外信标、屏幕像素、状态指示灯)未点亮时拍摄的画面——然后从后续每一帧中减去该参考帧。结果是:凡是两次捕获中场景相同的地方亮度都为零,只有光源实际点亮的地方才有非零亮度。
7.4 选择 difference 还是 sub
关于选择哪种算术运算的一点实用说明。difference() 返回变化的绝对值——不带符号——这使它对两个方向上的变化(变亮或变暗)都敏感,代价是无法告诉应用变化朝哪个方向发生。对于纯运动检测而言,这是正确的选择:任何移动的物体都值得关注,无论亮度是往哪个方向变化的。
对于光源检测,被点亮的像素总是比熄灯参考帧更亮,因此 sub()(带有在零处的钳位)是更诚实的选择。凡是当前帧比参考帧更暗的地方(这往往是未点亮值附近的传感器噪声)都会被钳位为零,而不会报告一个虚假的"灯亮了"信号。
8. 回归与相似度
Image 类上还有另外两种测量方法,它们将图像汇总为像素值分布之外的某种东西。对阈值化像素进行线性回归,可为应用提供一条可据以行动的直线——这是循线机器人的经典输入。相似度测量则为应用提供一个描述两幅图像有多相像的数值——这是黄金图像回归测试或粗略变化检测器的天然输入。
8.1 线性回归
当图像的前景像素恰好在帧内构成一条直线时——机器人正在跟随的赛道上的胶带、地平线、道路或走廊的边缘——应用通常并不需要每一个单独的前景像素。它想要的是穿过所有这些像素的最佳拟合直线,并以参数形式表示,以便判断这条线的朝向以及它在帧内的穿越位置。
get_regression() 执行这一拟合。它接受与 binary() 和 find_blobs() 相同的阈值元组形式,识别出每一个匹配阈值的像素,并返回单个 line 结果,描述穿过这些像素的最佳拟合直线:
line = img.get_regression([(0, 60)])
if line:
img.draw_line((line.x1(), line.y1(),
line.x2(), line.y2()),
color=(255, 0, 0))
该拟合采用 Theil-Sen 线性回归——一种比更常见的最小二乘拟合更能容忍离群值的稳健方法。少数远离真实直线的像素不会像在最小二乘法中那样扭曲结果,这与真实阈值输出中前景含噪的实际情况相吻合。
line 结果承载了被裁剪到图像矩形内的端点(x1、y1、x2、y2)、直线的长度和幅值(length、magnitude),以及直线的极坐标几何描述(theta、rho)——即直线相对水平方向的角度及其到原点的垂直距离。极坐标形式通常正是控制回路所需要的:theta 告诉机器人直线朝哪个方向倾斜,rho 告诉它直线在何处穿过图像,对二者的反馈回路可使机器人保持在直线中心。
若干关键字参数可用于调节稳健性和开销。x_stride 和 y_stride 在拟合时跳过像素——步长越大,回归越便宜,代价是拟合的像素越少。area_threshold 和 pixels_threshold 会拒绝背后匹配像素不足的直线。target_size 在拟合前将输入重新缩放到更小的尺寸——在图像的 80×60 替代版本上运行回归会更快,而直线方向精度的损失不大。
如果无法拟合出可接受的直线——若阈值未匹配任何像素,或匹配出的模式看起来不像一条直线——该方法返回 None。真实的循线代码会在访问直线属性之前,为每一次 get_regression() 调用加上 None 检查。
8.2 图像相似度
另一种测量:不再问“图像中包含什么?”,而是问“这两幅图像有多相像?”。可以采用的操作是 get_similarity(),它计算源图像与参考图像之间的结构相似性指数(SSIM)。
s = img.get_similarity(reference)
print(s.mean, s.stdev)
SSIM 是图像处理领域通用的标准图像相似度度量,因为它的行为方式符合人类对相似性的直觉——微小的位移或微小的亮度变化只会略微降低分数,而大的结构性变化(物体缺失、场景不同)则会显著降低分数。分数范围从 -1 到 +1:+1 表示两幅图像完全相同,0 表示二者不相关,-1 表示二者在结构上相反。返回的 similarity 对象提供整幅图像的平均 SSIM,以及各图块分数的标准差、最小值和最大值。
对于那种小数值优于大数值的比较——例如一个在“无变化”时应报告零、并随变化累积而上升的回归测试——dssim=True 标志会返回结构不相似度:即用 1 减去平均 SSIM,因此对于完全相同的图像返回值为 0.0,并随二者差异增大而上升。
8.3 SSIM 的应用场景
两种常见应用:
黄金图像回归测试。测试框架在已知良好的条件下捕获一帧参考帧,并将其存储为黄金图像。后续的测试运行在相同条件下捕获图像,并用 SSIM 与黄金图像比较。分数高于某个阈值(视容差而定为 0.95 或 0.98)即通过;低于该阈值即失败。测试框架无需知道什么发生了变化——SSIM 分数本身就是信号。
粗略变化检测。如果应用想要一种比帧差更粗粒度的方式——忽略微小亮度变化但对大的结构性变化作出反应——可以使用针对参考帧的 SSIM,而不是逐像素的 difference() 后再加阈值。SSIM 比逐像素差分对光照漂移更不敏感,因此当目标是检测“场景看起来发生了实质性变化”而非“任何单个像素发生了变化”时,它是更好的选择。
两种应用都使用相同的调用——img.get_similarity(reference)——并根据返回分数的阈值触发。区别仅在于阈值是高(回归测试,寻找近乎相同的匹配)还是低(变化检测,寻找任何大的结构性变化)。
8.4 变换并比较的形式
一个实用的微妙之处:get_similarity() 接受与 draw_image() 相同的 x、y、x_scale、y_scale、roi、rgb_channel、alpha、color_palette、alpha_palette、hint 和 transform 参数。参考图像会在 SSIM 比较运行之前,按这些参数进行定位、缩放和变换。
这意味着应用可以询问“在经过已知的位移/旋转/缩放之后,这个场景与参考帧有多相似”,而无需准备一幅预先变换好的参考图像。这是一种廉价的方式,可用于构建一个在参数空间中搜索、并报告参考图像的哪种变换最匹配当前帧的跟踪器。
9. 线性滤波器与邻域滤波器
本章前面介绍的像素数学运算是逐点地将两幅图像组合在一起。滤波器(Filters) 以另一种相关的方式完成类似的工作:它们根据对应位置周围的一小块输入像素 邻域(neighbourhood) 来计算每个输出像素的值。(x, y) 处的输出是以 (x, y) 为中心的小方框内输入像素的某种统计量——平均值、中位数或出现最频繁的值。
这个看似细微的视角变化——从一次处理一个像素转变为一次处理一个像素窗口——正是让一整类实用运算得以工作的关键。在小窗口上做简单平均可以平滑掉传感器噪声。在同一窗口上取中位数则可以去除单像素斑点,同时不像平均那样过度柔化边缘。双边平均拒绝在强对比边界两侧进行平滑,从而既清理了物体内部的纹理,又保留了物体的边缘。邻域是处理的基本单元;而统计量的选择则决定了滤波器的功能。
9.1 卷积核大小
每个邻域滤波器都接受一个 size 参数,用于设定窗口的 半径(以像素为单位)。窗口本身是正方形的,每条边覆盖 (2 * size + 1) 个像素——因此 size=1 表示 3×3 的邻域,size=2 表示 5×5,size=3 表示 7×7,依此类推。
更大的 size 意味着更大的邻域,也就意味着更平滑(或更激进)的滤波。计算开销随窗口面积增长,因此 size=3 的滤波器对每个像素所做的工作量大约是 size=1 滤波器的九倍。对于大多数清理工作,实际默认值是 size=1 或 size=2;只有当小邻域不足以抑制应用试图抑制的特征时,才需要使用更大的 size。
9.2 均值滤波器
mean() 用每个像素邻域的 算术平均值 来替换该像素。其结果会在窗口大小范围内平滑像素间的变化,这使它成为抑制传感器噪声斑点最廉价的方式:高频变化被平均掉,而低频内容得以保留。
代价是边缘和其他锐利特征也会被平均化。在滤波前宽度为一个像素的明亮边缘,经过 size=1 的均值滤波后会变成两到三个像素宽,并且亮度在两侧逐渐衰减。对于纹理稀少的图像(一面干净的墙、彩色标记物的内部)的纯噪声抑制而言,这种代价是可以接受的。但对于边缘很重要的繁忙场景,下面介绍的某种滤波器通常更合适。
img.mean(1) # 3x3 box average -- fast, gentle smoothing
img.mean(2) # 5x5 box average -- stronger, slower
9.3 中位数、众数、中点
另外三种统计邻域滤波器用对离群值更稳健的方式取代了简单的算术平均。
median() 返回邻域的 中位数——即窗口像素排序列表中正中间的那个值。窗口中某个极亮或极暗的像素不会拉动中位数;它只会成为被丢弃的两端极值之一。其实际效果是,中位数滤波能去除单像素斑点和椒盐噪声,而不会像 mean 那样柔化边缘。代价是每个像素的计算量更大——对窗口排序比求平均要慢——并且结果严格来说并不是平均值,这在下游数学运算中有时会有影响。
percentile 参数(默认 0.5)可以将所选值从严格的中位数偏移开。percentile=0.0 返回邻域的最小值,percentile=1.0 返回最大值;中间的值则在排序窗口中按比例选取二者之间的值。这赋予了 median 在不失去顺序统计量离群稳健性的前提下,强调邻域中较暗或较亮部分的能力。
mode() 返回邻域中 出现最频繁 的值。当噪声模型是“大多数像素是正确的,少数像素被不同程度地破坏”时,它很有用,此时正确答案就是出现次数最多的那个值——当被破坏的值堆积在排序窗口的一侧时,中位数可能会错过这个值。
midpoint() 返回邻域 最小值与最大值的加权组合——bias=0.5 给出二者之间的中点,bias=0.0 给出最小值,bias=1.0 给出最大值。它不如其他几种常用,但当目标特别是要提取较暗或较亮的特征时,值得了解。
9.4 双边滤波器:保边版本
bilateral() 是最值得深入理解的邻域滤波器。它能产生与 mean() 相同的平滑效果,但带有一个额外约束:邻域像素与中心像素 差异 越大,它在平均中所占的权重就越小。其结果是平滑每个均匀区域的内部,而不会跨越分隔它们的边缘渗透,这正是大多数应用真正想要的效果。
有两个参数控制滤波器对像素的折算力度:
-
color_sigma决定 颜色差异 如何影响权重。值越小,滤波器对折算与中心像素不同的像素就越严格。 -
space_sigma决定 空间距离 如何影响权重。值越小,越靠近中心的像素权重越大。
默认值(color_sigma=0.1、space_sigma=1.0)是合理的起点;调优它们通常就是在一帧样本图像上运行滤波器,然后不断调整,直到边缘清晰且内部干净。
双边滤波比 median() 开销更大,比 mean() 开销大得多,因此 只有 当保边行为正是应用所需要时,才值得使用它。
9.5 自适应阈值化
均值、中位数、众数和中点滤波器都带有同一对关键字参数,可以将它们的输出变成二值阈值:
-
threshold=True将滤波器切换到阈值化模式。 -
offset=N在比较之前将局部阈值偏移N个单位。
其工作机制直接建立在滤波器的常规行为之上。不带 threshold=True 时,滤波器在邻域上计算其统计量,并将该统计量写入输出像素。带 threshold=True 时,滤波器计算相同的统计量,然后将同一位置的 源 像素与该统计量加上偏移量进行比较,如果源像素更大则写入该格式的最大值,否则写入零。
其结果是一幅二值图像,其阈值会随整帧的 局部亮度 而移动。明亮区域获得较高的阈值,昏暗区域获得较低的阈值,而一个在局部上比其邻居更亮的前景像素,无论它位于明亮区域还是昏暗区域都能匹配——这正是单一全局阈值在光照不均的图像上无法产生的行为。
img.mean(3, threshold=True, offset=5)
offset 参数是应用控制测试 严格程度 的地方。一个小的正偏移要求源像素明显比其邻居更亮才算作匹配,这以丢失微弱前景为代价抑制了传感器噪声的误报。一个小的负偏移则以放过部分噪声为代价捕获微弱前景。如何选择取决于流水线的其余部分将如何处理二值输出。
threshold=True 运行的邻域滤波器会产生一个随局部亮度移动的阈值,从而在整帧范围内正确地对前景进行分类。整个滤波器家族都能运行自适应阈值,因此选择 正确的 滤波器很重要:用 mean() 实现开销最低的自适应阈值,当输入存在椒盐噪声、且希望滤波器在计算局部阈值前先剔除它时则用 median()。
10. 自定义卷积核
到目前为止介绍的邻域滤波器,每一个在每个位置对窗口应用的都是一个内置的统计量——均值、高斯加权平均值、中值。morph() 是唯一一个允许应用程序以卷积核形式自行提供统计量的滤波器:卷积核是一个小型权重矩阵,描述了滤波器应如何将邻域像素组合成单个输出值。
其机制是经典的卷积运算。在每个输出位置,每个邻域像素都与卷积核中对应的权重相乘,将这些乘积相加,对结果进行可选的缩放和偏移,然后将该值写入输出像素。不同的卷积核会从相同的输入产生不同的结果。权重全部相等且为正的卷积核可重现 mean() 滤波器;钟形的卷积核则可重现 gaussian()。超出这些模式的其他模式会产生边缘响应、浮雕、梯度、锐化、运动模糊,以及经典图像处理领域中一大批其他效果——凡是经典图像处理曾想用单次线性遍历完成的事情,都可以做到。
10.1 morph 方法
其函数签名与其他邻域滤波器类似,只是多了一个参数:
img.morph(size, kernel, mul=1.0, add=0.0)
size 与其他地方一样表示半径,因此卷积核必须恰好为 (2 * size + 1) 行乘以 (2 * size + 1) 列。卷积核本身是一个由这么多数字组成的扁平 Python 列表,按行主序排列——前 (2 * size + 1) 个条目是第一行,接下来 (2 * size + 1) 个是第二行,依此类推,直到最后一行。mul 在乘积之和写入输出像素之前对其进行缩放,add 则加上一个常量。默认的 mul=1.0 和 add=0.0 会保持卷积输出不变。
有一个值得明确说明的细节:该方法在写入输出之前,会自动将乘积之和除以卷积核条目之和。这种自动除法意味着,一个条目之和为九的平均化卷积核——例如 3×3 的方框模糊——无需任何额外操作就会以九分之一的比例输出;一个条目之和为十六的高斯近似卷积核则会以十六分之一的比例输出,二者都无需应用程序自行计算除法。只有当应用程序希望在自动归一化的基础上再进行额外缩放时,才会设置 mul——或者更常见的是,当卷积核之和为零(边缘响应卷积核)时,自动除法将变成除以无的情况。框架在这种情况下会将和视为一,于是 mul 就成了唯一可用于将未缩放的乘积之和保持在范围内的调节旋钮。
来自自适应阈值章节的 threshold=True / offset=N 这一对参数同样适用于 morph(),因此同一套自定义卷积核框架可以生成一个截止值由自定义统计量计算得出的二值阈值。
10.2 卷积核布局
一个 3×3 的卷积核(size=1)是由九个数字组成的扁平列表,按从左到右、从上到下的顺序排列。如果将列表分成三行 Python 代码来写,这种约定读起来就很自然:
sobel_x = [-1, 0, 1,
-2, 0, 2,
-1, 0, 1]
这是 Sobel-x 梯度算子——任何应用程序都会首先用到的标准卷积核,也是一个值得从头到尾走一遍的例子。其模式很简单:左列为负权重,右列为正权重,中列为零。行权重 -1, -2, -1(或右侧的 1, 2, 1)中间比四角更大,这使得中间行比四角的行对结果有更大的影响。
当卷积核扫过一条垂直边缘时——即一列从左侧暗到右侧亮的像素——负权重会拾取暗的一侧,正权重会拾取亮的一侧。乘积之和是一个很大的正数,滤波器会将其写为一个明亮的输出像素。一块均匀亮度的水平区域产生的结果为零,因为每个正权重都被一个作用于相同值像素、大小相同的负权重所抵消。
运行卷积核:
img.morph(1, sobel_x, mul=0.25)
Sobel 卷积核之和为零——左侧每个负权重都被右侧一个相等的正权重所抵消——因此自动除法不会除以任何东西,mul 就成了对乘积之和唯一的缩放。mul=0.25 可使响应保持在范围内:Sobel-x 从 3×3 区域所能产生的最大绝对和约为 4 * 255 = 1020(八个明亮像素,权重最高达 2),将其除以四后,极端情况会落在 255,格式可在此处干净地将其截断。
与之对应的 Sobel-y 卷积核通过将同样的权重模式旋转 90 度来检测水平边缘:
sobel_y = [-1, -2, -1,
0, 0, 0,
1, 2, 1]
想要检测任意方向边缘的应用程序,通常会同时运行两个 Sobel 算子并将其响应结合起来。
10.3 对输出进行偏移
add 是缩放故事的另一半。零和卷积核的响应是有符号的——边缘的一侧为正,另一侧为负——而当写入无符号像素时,负的那一半会被截断为零。add=128 会将响应平移到以中灰为中心,于是负响应会以低于 128 的值得以保留,正响应则落在其之上:边缘响应或浮雕在两个方向上都变得可见,代价是每个方向各损失一半的范围。
卷积核期望使用 mul 和 add 的哪种组合,是卷积核设计的一部分;标准卷积核目录 列出了每种常见卷积核的正确设置。
10.4 更大的卷积核
本页所有内容都是以 3×3 卷积核(size=1)来描述的,因为这是标准目录所使用的尺寸,也因为在该尺寸下行主序布局很容易手写出来。不过,该机制本身并没有将卷积核限制为 3×3。size=2 运行一个 5×5 的卷积核,扁平列表中有二十五个条目;size=3 运行一个 7×7 的卷积核,有四十九个条目;依此类推,直至应用程序愿意承担的任意半径。框架可在任意奇数尺寸下处理扁平列表或嵌套行布局。
采用更大卷积核的理由,与在任何内置滤波器上采用更大邻域的理由相同:更多的平均化、更广的特征检测、对单像素噪声更低的敏感度。其代价随半径的平方增长——一个 5×5 卷积核每像素的工作量大约是 3×3 的 2.8 倍,7×7 约为 5.4 倍——而这个倍数会直接体现在帧率上。
实用的做法是:对标准目录保持 size=1,仅当算法需要更大的邻域时才采用更大的尺寸。边缘检测器很少能从超过 3×3 的尺寸中获益;平滑滤波器有时可以;合适的尺寸取决于应用程序试图强调或抑制的特征的尺度。
10.5 何时使用 morph
对于日常平滑,mean()、gaussian() 和 bilateral() 更快也更简洁。对于边缘检测,laplacian() 和 find_edges() 是专门设计的。直接使用 morph() 的理由在于:应用程序需要某种内置滤波器未提供的特定卷积——一个方向性的 Sobel、一个自定义边缘模板、一个针对管线后续步骤将要查找的特定纹理而调校的卷积核,或者经典图像处理几十年来积累的任何标准实用卷积核目录中的卷积核。任意卷积核的完全灵活性都可供使用;代价是应用程序需要负责选择能产生其所需结果的卷积核数值。
11. 标准卷积核大全
经典图像处理积累了一份篇幅可观的卷积核权重模式大全,它们反复出现——边缘检测器、锐化器、浮雕、平滑器、运动模糊——而且每一种都通过 morph() 来运行。每一种都很简短,每一种都只做一件事,并且一旦理解了权重的基本逻辑,大多数都很容易读懂。
下面的卷积核除非另有说明,否则都是 3×3 的,因此它们在调用时都使用 size=1。每个卷积核的权重结构都在其旁边作了描述,因为读懂权重正是建立直觉的关键——理解为什么某个卷积核会产生浮雕效果,而另一个会产生锐化效果。
11.1 恒等卷积核
最简单的卷积核是 恒等 核——中心为 1,其余处处为 0:
identity = [0, 0, 0,
0, 1, 0,
0, 0, 0]
img.morph(1, identity)
每个输出像素从其邻域的中心取值,也就是同一位置上的输入像素。图像原样通过,毫无变化。恒等核作为滤波器没有任何实际用途,但它是理解其他所有卷积核的有用基准:任何非恒等核都是恒等核加上某种修改。
如果某个卷积核的中心权重很大,而周围是较小的负权重,那么它会从中心 减去 周围的值。如果某个卷积核的中心权重为 0,它就会忽略像素本身,只对其邻域之间的差异作出响应。用这种方式去读卷积核——中心权重对像素做了什么,周围的权重又增加或减去了什么——是预测其效果最快的方法。
11.2 边缘检测
边缘检测 卷积核会在亮度沿某个特定方向快速变化的位置产生强烈响应,而在亮度均匀的地方产生接近 0 的输出。它们属于权重之和为 0 的那一类:一块平坦区域(每个像素都是相同的值)会产生 0 输出,因为每个正权重都恰好被一个等量级的负权重所抵消。
Sobel-x 是经典示例。它检测 垂直 边缘(左右亮度过渡):
sobel_x = [-1, 0, 1,
-2, 0, 2,
-1, 0, 1]
img.morph(1, sobel_x, mul=0.25, add=128)
与之对应的 Sobel-y 是同一模式旋转 90 度后的结果;它检测水平边缘(上下亮度过渡):
sobel_y = [-1, -2, -1,
0, 0, 0,
1, 2, 1]
Sobel-x 的中间一行权重为 -2 和 2,而不是 -1 和 1。中心行上额外的权重使卷积核在 沿着 边缘的方向上自带少量平滑作用,这使得它比更简单的、舍弃了这些额外量级的 Prewitt 算子更能抵抗噪声:
prewitt_x = [-1, 0, 1,
-1, 0, 1,
-1, 0, 1]
prewitt_y = [-1, -1, -1,
0, 0, 0,
1, 1, 1]
Prewitt 对每一行的权重都相同,因此它的响应比 Sobel 略微更锐利,代价是对单像素噪声更敏感(运行卷积核的开销是相同的——无论权重如何,卷积所做的工作都一样)。在边缘强烈的干净图像上,它是 Sobel 完全可用的替代品。
Scharr 则走向另一个方向。它的权重更大,并经过调校以便在更细的角度上准确检测边缘方向:
scharr_x = [-3, 0, 3,
-10, 0, 10,
-3, 0, 3]
img.morph(1, scharr_x, mul=0.0625, add=128)
除数 mul=0.0625(即 1/16)在较大的乘积之和之后,将输出拉回到 0 -- 255 区间内。当应用需要几何上最忠实的梯度响应,并愿意为此付出略多一点的算术运算代价时,Scharr 就是正确的选择。
11.3 拉普拉斯算子
拉普拉斯(Laplacian) 卷积核会同时对 任意 方向上的边缘作出响应。Sobel 各自检测沿某一个轴的亮度变化,而拉普拉斯算子对称的权重模式无论边缘朝哪个方向都以同样的方式作出响应:
laplacian_4 = [ 0, -1, 0,
-1, 4, -1,
0, -1, 0]
img.morph(1, laplacian_4, add=128)
其结构为:中心权重 4,四个水平/垂直邻居权重为 -1,四个对角线邻居权重为 0。该卷积核之和为 0,因此平坦区域产生 0 输出。在亮度变化的地方,中心值与其四个正交邻居的平均值不同,输出就是这个差值的大小。
8 连通的变体则包含对角线邻居:
laplacian_8 = [-1, -1, -1,
-1, 8, -1,
-1, -1, -1]
每个卷积核检测的东西略有不同。4 连通版本在水平和垂直边缘上产生更干净的输出;8 连通版本则更各向同性——它在每个方向上的响应都同样好——但产生的输出略带噪声。8 连通卷积核还以 轮廓(outline) 之名流传,缘于它被用于边缘的可视化。
11.4 锐化
锐化 卷积核就是恒等核加上一个边缘响应卷积核。输出是原始图像加上一份边缘的副本,因此高频特征相对于平滑的内部区域得到放大。
标准的 4 连通锐化卷积核是把 4 连通拉普拉斯算子加到恒等核上:
sharpen = [ 0, -1, 0,
-1, 5, -1,
0, -1, 0]
img.morph(1, sharpen)
读这个卷积核:中心权重是 identity (1) + Laplacian centre (4) = 5,周围权重与拉普拉斯算子一致。平坦区域产生 5 * 1 - 4 * 1 = 1 倍的中心值——即恒等。边缘则产生原值加上拉普拉斯响应。权重之和为 1,因此 mul 和 add 保持各自的默认值。
要获得更强的锐化效果,8 连通的变体走得更远:
sharpen_strong = [-1, -1, -1,
-1, 9, -1,
-1, -1, -1]
img.morph(1, sharpen_strong)
中心权重 9 是 identity (1) + Laplacian-8 centre (8)。逻辑相同,放大更多,同时也更可能放大传感器噪声。
强锐化卷积核本质上就是带 unsharp=True 的 gaussian(),只不过是直接以卷积核的形式表达,而不是通过非锐化掩模标志。像素级的行为是相同的;选择在于:是要命名方法的便利,还是要手工调校卷积核所带来的精细控制。
11.5 浮雕
浮雕(emboss) 卷积核会产生经典图像编辑器中那种侧光照射的效果。输出看起来就像图像被挤压成浮雕,然后再从一个角落打光:
emboss = [-2, -1, 0,
-1, 1, 1,
0, 1, 2]
img.morph(1, emboss, add=128)
其诀窍在于 沿对角线的非对称性。左上角具有最负的权重,右下角具有最正的权重,而从一角到另一角的对角线则从负值经过 1 过渡到正值。在每个像素处,该卷积核本质上计算的是“我右下方的亮度减去我左上方的亮度”,在图像沿该方向变亮处为正,在变暗处为负。加上 128 把带符号的输出重新居中到中灰,从而让效果可见。
把这种非对称性旋转到另一条对角线上,就会从相反方向产生浮雕效果:
emboss_alt = [ 0, 1, 2,
-1, 1, 1,
-2, -1, 0]
img.morph(1, emboss_alt, add=128)
当应用需要检测方向时,这两个浮雕方向组合使用很有用——把其中一个从另一个中减去,或者在同一幅图像上分别运行并比较其响应。
11.6 平滑
平滑卷积核属于权重之和为 1(且全部非负)的那一类。一块平坦区域经过这样的卷积核会产生同样平坦的亮度,因为该卷积核是把像素值平均到一起,而不是放大它们之间的差异。
最简单的是 盒式模糊(box blur),它正是 mean() 所计算的内容:
box_blur = [1, 1, 1,
1, 1, 1,
1, 1, 1]
img.morph(1, box_blur)
该卷积核之和为 9,因此按卷积核之和的自动除法会把乘积之和转化为对邻域九个像素的真正平均。实践中 mean() 是运行这个卷积核更好的方式——它通过一条专为计算均值(且只做这件事)而优化的路径,更快地产生相同的输出,而 morph 运行的是通用卷积机制。盒式模糊之所以列入大全,是因为它是理解其他所有平滑卷积核的正确基准。
高斯(Gaussian) 权重的 3×3 近似对中心和正交邻居的加权高于角落:
gaussian = [1, 2, 1,
2, 4, 2,
1, 2, 1]
img.morph(1, gaussian)
这些权重是帕斯卡三角行 1, 2, 1 与自身作外积的结果。中心权重 4 最大,因为中心像素对其自身输出贡献最多;角落为 1,因为它们离中心最远。该卷积核之和为 16,按卷积核之和的自动除法处理归一化——无需 mul 参数。3×3 形式是真正高斯的粗略近似,在 size=1 时与 gaussian() 难以区分;morph 形式主要在应用希望把平滑与另一种操作组合在同一遍处理中时才有用。
11.7 运动模糊
运动模糊(motion-blur) 卷积核沿 一个方向 对像素求平均,而垂直方向不模糊。最简单的情形是水平方向:
motion_h = [0, 0, 0,
1, 1, 1,
0, 0, 0]
img.morph(1, motion_h)
中间一行沿水平轴对三个像素求平均;顶行和底行为 0。该卷积核之和为 3,因此按卷积核之和的自动除法产生真正的三像素平均,无需任何 mul。输出是输入在水平方向上被抹涂的副本——也就是当被摄主体在曝光期间横向移动时摄像头所捕捉到的效果。垂直运动模糊是同一模式旋转后的结果:
motion_v = [0, 1, 0,
0, 1, 0,
0, 1, 0]
对角线运动模糊使用主对角线:
motion_diag = [1, 0, 0,
0, 1, 0,
0, 0, 1]
img.morph(1, motion_diag)
运动模糊卷积核既可作为 效果(出于视觉目的有意模糊一帧)使用,也可作为 测试图案 来检验那些需要抗运动伪影的算法(在运动模糊的输入上运行算法,检查它是否仍能产生正确的结果)。
11.8 一眼读懂卷积核
几条经验法则可以让新的卷积核更容易一眼读懂:
-
和为 1 且权重非负 ⇒ 平滑(保持平均亮度)。
-
和为 0 且同时含正负权重 ⇒ 边缘响应(在平坦区域上为 0)。
-
和为 1 且中心为大的正值、周围为小的负值 ⇒ 锐化(恒等加上边缘响应)。
-
沿某条对角线非对称 且和为 1 ⇒ 浮雕(突出每处亮度过渡的一侧)。
-
沿某一个轴集中 且和为 1 ⇒ 方向性模糊。
卷积核所匹配的上述法则中的第一条,通常就是对它作用的正确猜测。大多数有用的卷积核仅凭其权重模式的布局就能辨认出来。
当 没有任何 标准卷积核能满足应用需求时,下一步就是手工调校一个。上述法则与 mul / add 控制项的组合,几乎涵盖了经典机器视觉流水线所曾需要的每一种线性处理遍;从那里开始,就是尝试权重、查看输出、不断迭代的事了。
12. 高斯平滑与边缘
在经典机器视觉中,邻域窗口主要用于两类工作:干净地平滑像素与像素之间的变化,以及找出图像发生急剧变化处的边缘。高斯滤波器是前者的标准工具,基于拉普拉斯的检测器是后者的标准工具——而且二者可以组合使用,因为每种边缘检测器在经过轻度平滑的输入上都能更好地工作。
12.1 高斯滤波器
gaussian() 是 mean() 的中心加权表亲。二者都对每个像素的邻域计算平均值,但高斯滤波器的权重并不均匀:靠近邻域中心的像素权重更大,邻域边缘的像素权重更小,权重遵循那条赋予该滤波器名字的著名钟形曲线。
正是这种钟形加权使高斯滤波器比方框平均更平滑。均值滤波可能在物体边缘产生可见的伪影——权重中的硬性截断会在急剧过渡处引入微小的振铃图案。高斯滤波器平滑下降的权重避免了这种振铃,并产生看起来更接近“模糊”应有效果的结果。代价是每像素的计算量比均值滤波器更多,但差距并不大——其每像素成本仍远低于双边滤波器。
img.gaussian(1) # 3x3 Gaussian -- a clean light blur
img.gaussian(2) # 5x5 Gaussian -- stronger smoothing
高斯平滑几乎是每条边缘检测管线的标准第一阶段。下面的边缘检测器都会放大高频内容,包括算法实际上并不想检测的传感器噪声。先运行一次轻度高斯滤波,可以在不太软化真实边缘的情况下抑制这些噪声,让边缘检测器去找真实边缘而非斑点噪声。
12.2 非锐化掩蔽
图像的高斯模糊副本是非锐化掩蔽技术用于经典锐化的原材料。在滤波器上设置 unsharp=True,会将其从“产生模糊图像”切换为“从原图中减去模糊图像,再将差值加回到原图”——其效果是高频边缘相对于平滑的内部区域得到放大。
img.gaussian(1, unsharp=True)
可选的 mul 和 add 参数用于缩放非锐化结果的强度;其默认值(mul=1.0、add=0.0)提供的是不会夸大传感器噪声的适度锐化。
12.3 拉普拉斯滤波器
laplacian() 运行图像二阶空间导数的离散近似。在像素值快速变化处,输出较大;在数值恒定或线性变化处,输出接近零。对该结果的自然解读是一种边缘响应:图像快速变化处的像素会变亮,平滑内部区域的像素则保持暗淡。
img.laplacian(1) # 3x3 Laplacian -- edge response
可用的参数与 gaussian 相同。sharpen=True 会产生一幅锐化图像(即将拉普拉斯结果加回原图,而非单独返回)。mul 和 add 用于缩放响应。
除边缘检测之外的一个实用用途是对焦测量。在某个区域内对拉普拉斯响应求平均,可粗略衡量该区域携带了多少高频内容;对于对焦良好的帧,该平均值较高,对于模糊的帧则会下降。比较不同帧之间的拉普拉斯响应,是无需更昂贵的对比度度量即可询问“镜头是否对焦?”的廉价方法。
12.4 find_edges 方法
find_edges() 运行的是一条完整的边缘检测管线,而不仅仅是一个边缘响应滤波器。它作用于灰度图像,结果是一幅二值图像,其非零像素标记出输入中具有应当算作边缘的那种亮度变化的位置。
该方法接受一个 edge_type 参数,用于在两种算法之间选择:
EDGE_SIMPLE 运行一个高通滤波器,应用阈值,然后返回结果。速度快,但输出包含所有高于阈值的亮度变化,包括应用程序可能并不关心的噪声和纹理。它适用于干净的图像,以及噪声将由后续形态学处理清除的情况。
EDGE_CANNY 运行 Canny 边缘检测器——经典的多阶段算法。它计算亮度梯度,沿梯度方向抑制所有非极大响应(使每条边缘宽一个像素),并应用滞后阈值(使某处较强的边缘即使在中间淡化处也能被追踪到)。其结果是一组干净、纤细、相互连通的边缘像素,正是每个经典的基于边缘的算法所需要的。
threshold 参数是一个两元素元组 (low, high)。对于 EDGE_CANNY,high 值是高于此值像素就肯定是边缘的截止值,low 值是高于此值像素仅在与某个确定边缘相连时才算边缘的截止值。对于 EDGE_SIMPLE,只有 high 值起作用;它是高于此值像素就算作边缘的单一截止值。默认值 (100, 200) 是一个起点,值得针对具体场景进行调校。
img.gaussian(1) # pre-smooth
img.find_edges(image.EDGE_CANNY, threshold=(50, 100))
对于几乎所有边缘很重要的应用程序,Canny 检测器都是更好的选择。在 Canny 的成本成为问题、而其滞后处理的抗噪能力实际上又用不上的情况下,更快的 EDGE_SIMPLE 值得记住。
12.5 在高斯滤波上进行自适应阈值处理
与 统计滤波器 一样,gaussian() 接受用于自适应阈值处理的 threshold=True / offset=N 关键字参数对。其行为与 mean() 相同:每个位置的高斯统计量成为局部截止值,源像素与该统计量加上偏移量进行比较,从而产生二值结果。
当输入相当无噪声时,高斯变体通常是自适应阈值处理最干净的选择。加权平均比均值滤波器产生的截止值更平滑,在急剧的光照过渡处伪影更少。
13. 形态学运算
形态学(Morphological) 运算作用于二值图像——即阈值化和边缘检测输出的掩膜。每个运算都遍历与平滑滤波器所用的同一种滑动邻域,但它在每个位置提出的问题是“是/否”:邻域中是否 每个 像素都为开,邻域中是否 有任何 像素为开,开/关的图案看起来像什么?这些答案能以平均滤波器无法做到的方式扩张区域、收缩区域并重新切割它们的边界。
形态学是介于 初始 二值掩膜——即阈值化、边缘检测或某种其他分类器的输出——与流水线其余部分可以使用的 干净 二值掩膜之间的环节。原始的阈值输出通常在真实前景区域中散布着孤立的噪声像素,在本应实心的区域上打着小孔,并且在阈值靠近物体边缘处切割时留下锯齿状的边界。形态学可以去除这些缺陷。
13.1 四种经典运算
两种基本运算,以及它们的两种组合,构成了形态学工具集:
dilate() 扩张 每个前景区域。规则是:在其 (2 * size + 1) 窗口内至少有一个前景邻居的任何像素都会变成前景。可见的效果是前景区域在每个方向上扩大 size 个像素,而它们内部的 孔洞 则收缩(或消失)相同的量。
erode() 则相反。窗口内并非 每个 邻居都在前景中的任何像素都会变成背景。前景区域在每个方向上缩小 size 个像素,孤立的前景像素(它们没有前景邻居)完全消失,较大区域之间的细小连接也会被切断。
open() 是 先腐蚀后膨胀。腐蚀后的图像去除了每个孤立的噪声像素,但它也在每个方向上缩小了 size 个像素。在腐蚀之后再做相同 size 的膨胀,可以将真正的前景区域恢复到大致原来的边界,同时让噪声保持消失状态。正是这种组合使得 open 成为经典形态学中标准的“去噪”运算:孤立的前景像素消失,真实区域完好地恢复。
close() 是其镜像——先膨胀后腐蚀。膨胀填充前景区域内部的小孔洞,并连接被小间隙分隔的区域;腐蚀则将结果收缩回其原来的外边界,同时让填充好的内部保持实心。close 是标准的“填充小间隙”运算。
binary_mask.open(1) # remove single-pixel noise
binary_mask.close(2) # fill small holes and gaps
size 参数的含义与亮度滤波器中相同:size=1 表示 3×3 邻域,size=2 表示 5×5,依此类推。更大的 size 意味着更激进的清理——以及更长的每像素开销。
13.2 顶帽与黑帽
另有两种组合值得了解,因为它们 恰好 提取出 open 和 close 所去除的特征:
top_hat() 返回原始图像与其开运算结果之间的 差——即 open 本会去除的那些前景像素。这实际上就是一幅由噪声像素、孤立的小前景区域以及开运算无法保留的细前景结构构成的掩膜。当那些小前景特征正是应用关心的对象时,它对于 提取 这些特征(而非去除它们)很有用。
black_hat() 返回图像的闭运算结果与原始图像之间的 差——即 close 本会填充的那些背景像素。这是一幅由前景区域内部的小孔洞以及闭运算本会桥接的区域间窄间隙构成的掩膜。
二者都不如四种基本运算常用,但这一模式值得记住——当应用需要提取标准清理流程 去除 的小特征或细特征时,顶帽和黑帽是把它们找回来的自然方法。
13.3 阈值模式
四种基本形态学运算都接受一个整数 threshold 关键字,用于放宽每个位置上的开/关测试。不带它时,这些运算的行为如上文所述:erode() 要求 每个 邻居都为开,dilate() 要求 至少一个 邻居为开。设置 threshold 后,每个运算都能容忍这么多个邻居投相反的票。对于腐蚀,threshold 是一个像素可以拥有且仍能存活的 背景 邻居数量:threshold=4 会保留八个邻居中至少有四个为开的任何像素(在 3×3 窗口中,中心像素有八个邻居),因此腐蚀不那么激进。对于膨胀,threshold 是一个背景像素必须多拥有多少个 前景 邻居才会变为开的数量:threshold=2 要求至少三个前景邻居而非一个,因此扩张不那么激进。
阈值形式可用于在不改变窗口大小的情况下调整形态学处理的激进程度,而改变窗口大小同时会改变它所作用特征的 尺度。大多数应用都使用默认行为;阈值形式是为那些默认行为稍微过强或过弱的情况准备的。
14. 色调校正
色调校正用于改变采集图像中亮度和颜色的分布方式——当一帧图像过暗、过亮、过于平淡或偏向错误的颜色时,应用程序所采取的修正手段。
这些校正分为两大类:重新分配亮度的明暗与对比度调整,以及改变每个像素所呈现颜色的颜色调整。两者在传感器的 ISP 中都有对应的处理,ISP 会在每一帧进入时对其进行校正;而本文介绍的方法则是事后作用于已采集的 Image,用于处理那些 ISP 提供的校正仍不足以满足需求的情况。
14.1 直方图均衡化
最简单的对比度拉伸操作是 直方图均衡化。其思路是重新映射像素值,使输出的直方图尽可能平坦——每个值出现的频率大致相同。视觉上的效果是:一幅低对比度图像(其直方图集中在很窄的区间内)会变成一幅高对比度图像,其像素覆盖完整的 0 -- 255 范围。
histeq() 执行均衡化:
img.histeq()
其原理很直接。先计算源图像直方图的累积分布函数(CDF);每个输入像素值被映射到它在 CDF 中的位置,并缩放到输出范围。在像素本已均匀分布的地方,映射接近于恒等映射;在像素堆积于某一亮度的地方,映射会通过将该亮度拉伸到更宽的输出值范围来把它们展开。
在低对比度场景下,效果非常显著——一张昏暗的室内照片与同一张照片经 histeq 处理后的差别,往往就是“无法辨认”与“清晰可读”之间的差别。其代价是该操作会放大 一切,包括传感器噪声。对于确实存在需要恢复的低对比度细节的场景,histeq 是正确的选择;而对于本就干净、曝光良好、根本不需要处理的场景,histeq 会引入可见的噪声。
14.2 CLAHE:自适应均衡化
直方图均衡化是全局性的:它使用从整幅图像计算出的单一 CDF,并将其应用于所有位置。这在亮度范围大致均匀的图像上有效,但在存在局部暗区和亮区的场景上会失效——CDF 会被像素更多的一侧拉偏,而另一侧则会被过度校正。
其自适应变体是 对比度受限自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalisation),通常称为 CLAHE。CLAHE 不使用单一的 全局 CDF,而是为图像的每个小图块分别计算一个 CDF,针对各自的 CDF 对每个图块进行均衡化,并将图块边界混合在一起。其结果是亮度调整发生在 局部 ——阴影中的角落获得自己的均衡化处理,而不会被明亮的角落拉向错误的方向。
adaptive=True 标志将 histeq() 切换为 CLAHE 模式:
img.histeq(adaptive=True, clip_limit=10)
clip_limit 参数对应名称中“对比度受限”所指的部分。在 CDF 几乎没有几个不同取值的平坦区域,局部均衡化可能会过度放大噪声;裁剪限制控制任何单个柱体被重新分配的激进程度,从而在防止噪声放大的同时仍允许在需要的地方进行对比度拉伸。10 左右的值是一个合理的起点;较大的值让 CLAHE 工作得更激进,代价是噪声更明显,较小的值则使其更柔和。
CLAHE 比 全局 histeq 开销更大,但在亮度分布不均匀的场景上能产生更干净的结果——而现实世界中的大多数场景都是如此。
14.3 伽马、对比度和亮度
直方图均衡化是数据驱动的亮度重映射方式。而 与数据无关 的方式是应用一条选定的曲线,并通过几个易于调节的旋钮来参数化。gamma() 提供了三个这样的旋钮:
img.gamma(gamma=1.0, contrast=1.0, brightness=0.0)
每个参数对每个像素施加一种特定的变换:
gamma 将每个像素的值通过幂函数 output = input ** (1 / gamma) 进行处理。标准含义为:大于 1.0 的值会 提亮 图像并抬升中间调(即经典的“显示器伽马”校正);小于 1.0 的值会使其 变暗。该参数是非线性的——它保留黑场和白场,仅重塑两者之间的分布,当目标是在不压垮现有极值的情况下恢复阴影或高光区域的细节时,这正是恰当的行为。
contrast 将每个像素围绕中灰点进行一次直接的乘法运算。大于 1.0 的值会增强对比度(暗的更暗,亮的更亮,中灰保持不变);小于 1.0 的值会降低对比度。
brightness 为每个像素值加上一个常数。正值提亮,负值变暗。这种偏移是 均匀的 ——不保留任何内容——单独使用时这很少是应用程序所需要的,但它与一次对比度处理搭配使用以重新居中结果时效果很好。
这三个参数可以组合:一次 gamma() 调用就能在一个流程中先施加伽马曲线,再进行对比度乘法,最后施加亮度偏移。其顺序是先伽马,再对比度,最后亮度,这与当三者都为非默认值时能给出最符合直觉结果的顺序一致。
14.4 自动白平衡
色调校正中的颜色类操作从 自动白平衡 开始。传感器 ISP 作为成像流水线一部分所运行的同一机制——调整红、绿、蓝通道的相对增益,使平均灰色调的色块呈现为真正的灰色——也可作为对已完成的 Image 进行的采集后操作:
img.awb()
默认使用 灰度世界(gray-world)算法:假定整幅图像的平均颜色为中性灰,并调整各通道增益使之成立。另一种 max=True 形式使用 白块(white-patch)算法:假定最亮的像素为中性白,并调整增益使之成立。两者都适用于 RGB565 和原始 Bayer 数据;都不适用于灰度图(其中没有可平衡的颜色)或 YUV(其颜色表示方式不是这些算法所操作的对象)。
何时应选择采集后形式而非 ISP 的自动白平衡:当 ISP 的选择与特定场景不匹配时,当应用程序正从磁盘加载在不同条件下采集的参考帧时,或当颜色判断重要到应用程序希望用自己选择的算法重新执行它时。
14.5 颜色校正矩阵
当图像所需的颜色校正不是白平衡所提供的逐通道缩放,而是更一般的 通道混合 时,应选用的操作是 颜色校正矩阵。ccm() 方法应用一个 3×3(或带偏移量的 3×4)矩阵,将每个像素的 (r, g, b) 向量相乘以产生新的 (r, g, b) 向量:
img.ccm([[1.1, -0.05, -0.05],
[-0.05, 1.1, -0.05],
[-0.05, -0.05, 1.1]])
该矩阵让应用程序能够校正颜色通道之间的串扰——例如,当红色传感器的响应中包含了一些绿光时,矩阵可以从红色输出中减去一部分绿色通道以进行补偿。结合逐通道的偏移量,3×4 形式还能让应用程序对每个通道重新归零。
ISP 流水线 的材料阐述了颜色校正矩阵的 原理。Image 上的采集后形式只是同一操作的事后应用。
15. 镜头与透视校正
有两类几何校正会以矩形到矩形映射无法实现的方式扭曲图像。镜头校正(Lens correction)用于消除真实广角镜头引入的径向畸变——这种鱼眼凸起会使场景中的直线在帧角附近呈现出可见的弯曲。透视校正(Perspective correction)用于消除镜头未垂直对准场景时产生的梯形效应——这种梯形扭曲会把现实世界中的已知矩形变成图像中非矩形的色块。这两种校正都是在拍摄完成之后,去除那些源于光学因素的影响。
15.1 径向镜头畸变
真实镜头效应 一节描述了廉价广角镜头引入的桶形(barrel)畸变。靠近帧中心的像素大致位于针孔模型所预测的位置;靠近边缘的像素则向外弯曲,弯曲量随到光轴径向距离的平方增长。场景中沿帧边缘附近延伸的直线在拍摄图像中会明显弯曲,任何假定直线保持笔直的经典机器视觉算法——AprilTag 角点检测、边缘跟踪、循线导航——在帧角附近都会得出错误结果。
lens_corr() 用于消除该畸变。该方法执行逆映射:每个输出像素都从输入中镜头本应将其向外弯曲的位置进行采样,得到的结果是一幅几何上笔直的图像。
img.lens_corr(strength=1.8)
strength 参数是校正的核心。它是一个描述镜头弯曲强度的单一数值;接近 1.0 的值适用于中等广角镜头的轻度校正,最高约 2.0 的值则适合强烈的鱼眼镜头。默认值 1.8 对于 OpenMV Cam 原装镜头是一个合理的起点;对任何特定镜头而言,合适的值都需要多试几次并观察图像来确定。
另外两个辅助参数通常保持默认即可。zoom(默认 1.0)用于缩放输出——大于一的值会向外裁剪,以补偿镜头校正将帧角进一步外推的效果;较小的值则保留更多校正后的场景,但代价是图像边缘会包含空白像素。x_corr 和 y_corr 用于将校正中心从图像几何中心偏移开,这在镜头光学上未对准传感器中心时很有用(这种情况不常见,但值得了解)。
典型流程为:拍摄、运行一次 lens_corr() 来矫正几何形状,然后再对结果执行应用程序真正需要做的处理。
15.2 三维旋转校正
另一类几何畸变是传感器平面与场景平面不平行时产生的透视(perspective)扭曲。典型情形是从下方观看标牌或车牌:标牌顶部比底部离镜头更远,因此投影更小,拍摄图像中该矩形便呈现为顶边短于底边的梯形。
解决办法是对拍摄的帧施加三维旋转,从而虚拟地重新调整传感器平面,使其与场景平面平行。其数学原理与 AprilTag 检测从标签四角恢复其姿态所用的透视映射相同,只是反向运行:给定一个旋转,该操作将每个输出像素映射回该旋转本应使其来自的输入位置。
rotation_corr() 执行该校正:
img.rotation_corr(x_rotation=10.0, y_rotation=0.0, z_rotation=0.0)
三个旋转参数以度为单位,描述围绕以图像为中心的虚拟摄像头 x、y、z 轴的旋转。x_rotation 使摄像头上仰或下俯(用于校正在地面拍摄墙面的自然情形);y_rotation 使摄像头左右平移;z_rotation 使摄像头围绕其光轴旋转(用于校正安装不水平的自然情形)。
x_translation 和 y_translation 在不旋转的情况下横向移动虚拟摄像头。zoom(默认 1.0)用于缩放输出。fov(默认 60.0)描述摄像头的垂直视场角,用于计算投影——该值应与实际镜头匹配,以保持几何一致。
对于任意的俯仰与平移组合,可在一次调用中复合多个非零旋转。运算顺序在实现内部是固定的;应用程序只需提供角度,结果便会输出。
15.3 对已知矩形进行校正
rotation_corr() 最常用的形式是 corners= 关键字,它接收一个由四个 (x, y) 元组组成的列表,描述输入图像中某个已知矩形的四个角。该方法会计算出本应将真实矩形映射到这四个特定点的三维旋转,然后对整幅图像施加该旋转的逆变换,并返回一个使该已知矩形重新变为矩形的结果:
plate_corners = [(45, 80), (300, 60), (310, 180), (40, 200)]
img.rotation_corr(corners=plate_corners)
经典用途正如其名所示:从倾斜角度拍摄的车牌(或任何其他矩形特征)。上游环节检测到车牌并报告其在拍摄图像中的四个角位置;将这些角传给 rotation_corr() 即可生成一幅车牌呈现为真正矩形的图像,可供随后的字符识别或模板匹配环节使用。
当四角形式能解决应用程序要解决的问题时,它远比六参数形式更有用。应用程序无需估计任何旋转角度;它只需将四个点交给该方法,由方法算出其余部分。六参数形式则适用于场景中没有可识别矩形、必须根据外部知识(例如标定好的安装角度)手动调整旋转的情况。
16. 透视校正
警告
任意 3×3 的 transform 矩阵仅在 OpenMV Cam N6 上受支持——在其他所有开发板上该关键字都会被静默忽略。需要在其他平台上运行的应用程序必须使用现成的 rotation_corr() 方法(及其 corners= 形式),或在板外预先计算校正后的图像。
现成的 rotation_corr() 方法将一类特定的透视扭曲封装在一小组参数之后,并可在每一款受支持的开发板上运行。有些应用程序需要不符合该形式的扭曲:从一个四边形到另一个四边形的任意射影重映射、针对某个已离线计算好的已知安装的标定校正、或由某个上游算法直接提供的现成扭曲矩阵。对于这些情况,draw_image()——以及 copy()、crop() 和 scale()——接受一个 transform 关键字,该关键字直接接收手工构建的、描述该扭曲的 3×3 矩阵。
16.1 仿射变换与射影变换
几何扭曲用齐次坐标(homogeneous coordinates)表示:像素位置 (x, y) 在末尾追加一个 1,再乘以一个 3×3 矩阵。
仿射(affine)形式是入门之处。它的底行固定为 :
展开后,每个输出坐标都是输入坐标的线性组合加上一个常数:
它涵盖了缩放、旋转、错切和平移的任意组合——并且在所有这些变换下,平行线始终保持平行。
射影(projective,即透视)形式解放了底行:
展开后:
正是对 的除法使该变换成为射影变换而非仅仅是仿射变换。当 和 都为零时, 保持为一,除法不起任何作用——又回到了仿射形式。当二者之一非零时, 随输入位置变化,不同位置的像素会被以不同程度透视缩短,这便不再保持平行线平行——这恰恰是从倾斜角度观看平面时的梯形效应。射影变换是把直线映射为直线的最一般的几何扭曲;缩放、翻转、转置、旋转以及四角旋转校正都是它的特例。
上述具名变换可直接从仿射形式中得出。恒等变换即单位矩阵,此外还有:
对于大多数手工构建的变换,应用程序会以其中之一作为基础,再为每个附加操作乘入更多矩阵,最终得到一个描述复合扭曲的单一 3×3 矩阵。矩阵从右向左作用: 会先执行缩放,再执行旋转,最后执行平移。每个人最终都需要的复合变换是围绕图像中心的旋转——单纯的旋转矩阵会使图像围绕左上角的像素原点旋转,因此居中版本会先将中心 移到原点、旋转、再移回去:
16.2 transform 关键字
矩阵通过 transform 关键字传入,以 3×3 的 ulab.numpy.ndarray 形式提供。应当采用的方法是 draw_image(),它在将源图像绘制到目标上的同时,通过该矩阵对源图像进行扭曲——结果落入应用程序控制的缓冲区中,并且该扭曲会与本次调用中的其他一切操作复合在一起:缩放、alpha 混合、遮罩。
import ulab.numpy as np
M = np.array([[1.2, 0.0, -20.0],
[0.0, 1.2, -15.0],
[0.0, 0.0, 1.0]])
canvas.draw_image(img, transform=M)
该示例将 img 扭曲绘制到 canvas 上,在每个方向上缩放 1.2 倍,并分别向左和向上平移 20 和 15 像素——这是一个直接由上述矩阵元素构建的仿射扭曲。在 copy()、crop() 和 scale() 上使用同一关键字,则会将该扭曲应用于图像本身。
17. 极坐标变换
极坐标用相对于参考方向的角度和相对于所选中心的距离来标识每个像素,取代了相对于左上角原点的水平和垂直偏移。这种表示之所以有价值,源于一个恒等关系:绕所选中心的旋转变成了沿角度轴的平移,这使得旋转不变算法可以在一个比直接处理旋转简单得多的参数空间中进行搜索。linpolar() 和 logpolar() 负责执行这种重投影。
17.1 两种方法
linpolar() 使用线性距离轴执行从笛卡尔坐标到极坐标的重投影。每个输出列对应绕中心的一个固定角度;每个输出行对应到中心的一个固定距离。
img.linpolar()
logpolar() 使用对数距离轴执行同样的重投影。角度的处理方式相同;不同之处在于距离沿输出的行向下呈指数增长,而非线性增长。这种差异之所以重要,是因为极坐标揭示的第二个几何恒等关系:绕所选中心对源图像进行缩放变成了沿距离轴的平移——但仅当该轴为对数轴时成立。在线性距离轴下,缩放会拉伸极坐标图像;而在对数距离轴下,缩放只会使其平移一个固定量。
img.logpolar()
这两种方法都接受 x= 和 y= 关键字参数,用于以源像素坐标设置极坐标重投影的中心,默认值分别为图像宽度的一半和图像高度的一半。中心的选择很重要:围绕错误的点进行极坐标变换最终会使内容以破坏旋转/平移恒等关系的方式被打乱。
linpolar() 和 logpolar() 重投影后的钟面。源图像中的同心圆在输出中变为水平线;角度刻度标记变为沿角度轴均匀分布的竖线。对数极坐标变体压缩了径向间距。17.2 何时使用哪一种
在 linpolar() 和 logpolar() 之间的选择,取决于应用需要哪种不变性。若仅需旋转不变性——即检测同一场景出现在两帧中,第二帧旋转了一个未知角度——那么 linpolar() 就足够了:旋转在极坐标图像中变成水平偏移,而像 find_displacement() 这样仅处理平移的匹配器可以将该偏移的大小还原为角度。当尺度不变性也很重要时——即第二帧既被旋转又被缩放——logpolar() 会将两个未知量都化为平移:水平方向对应旋转,垂直方向对应尺度。
这就是构建一个对旋转和尺度变化都具有鲁棒性的跟踪器的标准方法:将参考帧和每一帧实时画面绕同一中心重投影到对数极坐标,对这一对图像运行 find_displacement(),然后从结果中读取 rotation 和 scale 字段。
17.3 展开圆形特征
极坐标变换的另一种用途是展开图像中本身呈圆形的特征。钟面、仪表盘、设计上就是圆形的检测目标——所有这些在极坐标投影中都会变成线性的,而这种形式是大多数算法更容易处理的。
上图直接展示了这一点:钟面上的十二个刻度标记,在笛卡尔坐标中沿圆周均匀分布,在极坐标图像中变为十二条均匀分布的竖线。在极坐标图像中围绕任意一个刻度标记画一个矩形,便可确定该刻度标记的位置,而无论拍摄时钟面被旋转到哪个方向。在极坐标图像上运行模板匹配器,可以在一次遍历中找到每一个刻度标记。
17.4 逆映射
reverse=True 执行正向极坐标投影的逆运算:给定一幅极坐标图像,生成其极坐标投影所对应的那幅笛卡尔图像。应用先调用正向形式以在极坐标下运行算法,然后调用逆向形式将结果投影回笛卡尔坐标,供需要查看它的下游环节使用。
最常见的用法是修改极坐标图像再投影回去:应用于极坐标图像的滤波器——一种在极坐标意义上跨角度模糊但保留径向结构的水平平滑——会生成一幅在角度方向上被模糊的笛卡尔结果,而这是笛卡尔滤波器无法直接做到的。