柚子快報(bào)邀請(qǐng)碼778899分享：圖像處理 圖像顯著性目標(biāo)檢測

http://yzkb.51969.com/

一、概述

1、定義

圖像顯著性檢測(Saliency Detection,SD)， 指通過智能算法模擬人的視覺系統(tǒng)特點(diǎn)，預(yù)測人類的視覺凝視點(diǎn)和眼動(dòng)，提取圖像中的顯著區(qū)域(即人類感興趣的區(qū)域)，可以廣泛用于目標(biāo)識(shí)別、圖像編輯以及圖像檢索等領(lǐng)域，是計(jì)算機(jī)視覺領(lǐng)域關(guān)鍵的圖像分析技術(shù)。 示例如圖所示，左圖為原圖，右圖為經(jīng)過顯著性檢測算法的結(jié)果圖

2、方法分類

顯著性目標(biāo)檢測主要可以分為兩個(gè)階段，分別是傳統(tǒng)尺度空間手工特征的注意預(yù)測算法和基于深度學(xué)習(xí)的注意預(yù)測算法。 第一階段為等傳統(tǒng)尺度空間手工特征的注意預(yù)測算法。第二個(gè)階段，隨著計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)技術(shù)的革新和發(fā)展，基于深度學(xué)習(xí)的注意預(yù)測算法大量出現(xiàn)。 傳統(tǒng)注意預(yù)測算法，指的是基于強(qiáng)度、顏色和方向等傳統(tǒng)特征的算法，由于其特征提取和學(xué)習(xí)方法都以圖像本身空間特征為基礎(chǔ)，缺乏多語義等深度特征，相較于人眼仍然具有較大差距，很難檢測到人眼注視信息包含的大量高級(jí)語義信息，在預(yù)測效果的提高上有局限。此外，不同人的注意力機(jī)制存在一定差異，在大部分傳統(tǒng)模型中未加入先驗(yàn)信息，處理相對(duì)困難。 深度學(xué)習(xí)注意預(yù)測算法是近年來發(fā)展較為迅速的方法。由于深度學(xué)習(xí)算法需要大量的訓(xùn)練數(shù)據(jù)，同時(shí)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)上針對(duì)不同任務(wù)需要不斷變更，算法較復(fù)雜。另外，深度學(xué)習(xí)模型一般存在可解釋性差的共性缺點(diǎn)。

二、算法模型

1、ITTI視覺顯著性模型

TTI視覺顯著性模型是根據(jù)早期靈長類動(dòng)物的視覺神經(jīng)系統(tǒng)設(shè)計(jì)的一種視覺注意模型[1]。該模型首先利用高斯采樣方法構(gòu)建圖像的顏色、亮度和方向的高斯金字塔，然后利用高斯金字塔計(jì)算圖像的亮度特征圖、顏色特征圖和方向特征圖，最后結(jié)合不同尺度的特征圖即可獲得亮度、顏色和方向顯著圖，相加得到最終的視覺顯著圖，如下圖所示（引用自原文）。該方法不需要訓(xùn)練學(xué)習(xí)的過程，僅通過純數(shù)學(xué)方法，便可完成顯著圖的計(jì)算。

高斯金字塔的構(gòu)建

高斯金字塔包括三部分，分別是亮度、顏色和方向。

首先要對(duì)r、g、b三個(gè)通道做高斯降采樣，從而獲得九個(gè)尺度下的三通道圖像、、，其中。

然后即可構(gòu)建亮度高斯金字塔，在九個(gè)尺度下計(jì)算獲得，這里需要根據(jù)再對(duì)、、做歸一化處理，以便將色調(diào)與亮度分離，原因在于低亮度下色調(diào)難以分辨。而每一個(gè)像素點(diǎn)的歸一化僅對(duì)亮度的點(diǎn)進(jìn)行，而其余的點(diǎn)將置零，其中表示點(diǎn)所處的尺度的圖像中最大的亮度值。

接著即可構(gòu)建顏色高斯金字塔，在九個(gè)尺度下計(jì)算

以上四個(gè)分別代表紅、綠、藍(lán)、黃的顏色高斯金字塔。

最后利用Gabor濾波器構(gòu)建Gabor方向金字塔，其中，角度分別為0 、45、90、135 。

上述獲得亮度、顏色和方向高斯金字塔后，利用Center-Surround方法（Center?即精細(xì)尺度，Surround(s)即粗尺度）計(jì)算對(duì)應(yīng)的特征圖。計(jì)算方法為： 其中c 為2 3 4，而s=c+3或s=c+3。再通過減法操作調(diào)整圖片到同一大小，I表示亮度特征圖，RG和BY表示顏色特征圖，這是利用了大腦皮質(zhì)的“顏色雙對(duì)立”系統(tǒng)，O表示方向特征圖。所以總共生成的特征圖有6+12+6x4=42張?zhí)卣鲌D。

顯著圖的構(gòu)建

模型在缺少自頂而下的監(jiān)督機(jī)制的條件下，提出一個(gè)特征圖歸一化操作運(yùn)算符 ，該操作過程基于大腦皮質(zhì)側(cè)向抑制機(jī)智，可以增強(qiáng)存在少量活動(dòng)峰（即尖銳值）的特征圖，抑制存在大量活動(dòng)峰的特征圖。其操作方法如下：

（1）首先對(duì)輸入的特征圖歸一化至統(tǒng)一范圍[0…M]；

（2）找到該特征圖的全局最大值M所在位置并計(jì)算其他所有局部最大值的均值m，然后把整個(gè)特征圖同乘以(M-m)^2；

如下圖所示，中間列上圖便是存在大量活動(dòng)峰的特征圖，經(jīng)過操作后得到的特征圖整體較為平滑，活動(dòng)峰被抑制，中間列下圖是存在少量活動(dòng)峰的特征圖，經(jīng)過操作后得到的特征圖在原有的活動(dòng)峰處得到了增強(qiáng)。

通過以上操作符結(jié)合獲得的42張?zhí)卣鲌D，即可計(jì)算最后的視覺顯著圖，計(jì)算方法如下： 一般在目標(biāo)檢測中，根據(jù)設(shè)定的閾值檢測顯著性目標(biāo)，設(shè)定的閾值逐漸下降，得到的顯著性目標(biāo)就會(huì)逐漸增多，同時(shí)檢測時(shí)間也會(huì)增加，論文實(shí)驗(yàn)如圖所示。

LC算法

LC算法的基本思想是：計(jì)算某個(gè)像素在整個(gè)圖像上的全局對(duì)比度，即該像素與圖像中其他所有像素在顏色上的距離之和作為該像素的顯著值 [3] 。 HC算法 HC算法和LC算法沒有本質(zhì)的區(qū)別，HC算法相比于LC算法考慮了彩色信息，而不是像LC那樣只用像素的灰度信息，由于彩色圖像最多有256256256種顏色，因此直接采用基于直方圖技術(shù)的方案不適用于彩色圖片。但是實(shí)際上一幅彩色圖像并不會(huì)用到那么多種顏色，因此提出了降低顏色數(shù)量的方案，將RGB各分量分別映射成12等份，則隱射后的圖最多只有121212種顏色，這樣就可以構(gòu)造一個(gè)較小的直方圖用來加速，但是由于過渡量化會(huì)對(duì)結(jié)果帶來一定的影響，因此又用了一個(gè)平滑的過程。 最后和LC不同的是，對(duì)圖像處理在Lab空間進(jìn)行的，而由于Lab空間和RGB并不是完全對(duì)應(yīng)的，其量化過程還是在RGB空間完成的 [

AC FT

獲取更多資料請(qǐng)移步公眾號(hào)：LonaXiao學(xué)長

參考

https://blog.csdn.net/weixin_42647783/article/details/82532179 https://baike.baidu.com/item/%E8%A7%86%E8%A7%89%E6%98%BE%E8%91%97%E6%80%A7%E6%A3%80%E6%B5%8B/22761214

柚子快報(bào)邀請(qǐng)碼778899分享：圖像處理 圖像顯著性目標(biāo)檢測

http://yzkb.51969.com/

好文推薦