介紹
作為視覺生物，人類對視覺信號損耗(例如塊狀，模糊，嘈雜和傳輸損耗)敏感。因此，我將研究重點放在發現圖像質量如何影響Web應用程序中的用戶行為上。最近，一些研究測試了低質量圖像在網站上的影響。康奈爾大學[^4]證明了低質量的圖像會對用戶體驗，網站轉換率，人們在網站上停留多長時間以及信任/信譽產生負面影響。他們使用由LetGo.com提供的公開數據集訓練的深度神經網絡模型。目的是衡量圖像質量對銷售和感知到的信任度的影響，但是他們無法衡量圖像質量對可信賴性的影響。
圖像失真
最常見的圖像失真是白噪聲(WN)，高斯模糊(GB)，JPEG壓縮和JP2K壓縮。例如，晚上在用手機拍攝照片時，可能會引起白噪聲失真；如果在拍攝前未正確聚焦，則可能導致高斯模糊。
文獻回顧
圖像質量評估(IQA)方法主要分為兩類：(1)參考(reference)和(2)無參考(reference-less or blind)。參考的算法需要原始(參考認為是高質量的)和失真的圖像計算質量分數。基於參考的算法已廣泛用於衡量在應用諸如圖像壓縮，圖像傳輸或圖像拼接之類的處理後圖像的質量。例如，在圖像壓縮方面需要權衡取捨；壓縮率越高，可感知的圖像質量越低。作為另一個示例，擁有一種自動測量圖像質量的方法可以幫助公司定義最佳壓縮參數，以在不影響用戶體驗的情況下最大化加載速度。另一方面，無參考側重於無法訪問原始圖像的過程。
最初，無參考的IQA算法特定於失真。因此，為了計算圖像質量分數，需要在計算之前確定失真類型。因此，需要兩個模型，(1)一個預測失真類型的模型，以及(2)給定失真類型的一個預測質量分數的模型。這些方法的整體性能要低得多，並且研究工作繼續朝著通用方法發展。
幾位研究人員發現，自然圖像統計(NSS)以及諸如小波和離散餘弦變換(DCT)域之類的變換是評估圖像失真程度的有力鑑別器。這些方法一直佔據主導地位，直到被基於特徵學習的新算法所取代。如果有足夠的數據，這些算法將超越基於手工(hand-crafted)特徵的算法的性能。主要缺點是參數數量激增，增加了缺乏泛化能力的風險。
問題描述
圖像質量評估(IQA)與其他圖像應用不同。與分類，目標檢測或分割相反，IQA數據集的收集是複雜且費時的。因此，大型數據集的創建是昂貴的，因為它需要負責確保方法正確執行的專家的監督。另一個限制是，由於不得修改參考圖像的像素結構，因此無法使用數據增強。
方法
大多數最新算法都專注於特徵學習。如前所述，這些方法的主要侷限性在於廣泛數據集泛化的必要性。但是，最新的方法側重於混合方法，該方法第一步是自動學習hi質量相關(quality-aware)特徵 ，其次將這些特徵與質量分數相關聯。
本節的目的是介紹三種與以前的方法相比具有出色性能的完全不同的方法。第一種方法基於經過訓練以學習objective error map的深度神經網絡。第二種方法引入了多個偽參考圖像(MPRI)的概念，並通過高階統計量彙總來提取特徵；第三種方法則利用了無監督的kMeans聚類來創建圖像質量特徵碼本(characteristics codebook)。
Deep CNN-Based Blind Image Quality Predictor (DIQA)
如前所述，圖像質量評估的重大挑戰之一是標記圖像的成本。但是，Jongyoo Kim等人在[1]中通過將訓練分為兩個步驟，找到了一種利用大量數據的方法(參見下圖)：
- 訓練可學習objective error map的卷積神經網絡(CNN)。
- 使用subjective scores微調CNN。
第一步，由於使用了CNN，可以學習原始圖像和失真圖像之間的error map，因此無需使用人類意見評分。我們可以使用偽參考圖像(PRI)及其失真的概念擴展第一階段數據集的大小(請參閱下面的BMPRI算法)。
在第二步中，在Conv8 之後添加兩個全連接的層，並使用subjective scores進行微調以學習人類的觀點。
學習 Objective Error Map
第一階段是迴歸分析，目的是學習objective error map。它由上圖中的紅色箭頭描述。損失函數定義為預測的和真實的error maps的均方誤差。此外，通過可靠的map預測來加權這樣的error maps之間的差異。
通過可靠的map預測r具有通過測量失真圖像的紋理強度來避免在同質區域中預測失敗的作用。
真實誤差只是參考圖像和失真圖像之間的差的p次方。作者建議p = 0.2，以使誤差分佈範圍從0到1。
學習 Subjective Opinion
在訓練了第一個模型以預測objective error maps之後，使用第一個網絡並添加兩個全連接層來創建一個新的網絡。為了利用不同大小的圖像，對Conv8應用全局平均池化(GAP)，並將其變成全連接層。為了補償丟失的信息，將兩個手工特徵μ和σ連接到FC1(請參見上圖)。該階段的損失函數定義為：
其中v是應用於Conv8的全局平均池化操作。
Blind Image Quality Estimation via Distortion Aggravation (BMPRI)
通過失真加重(distortion aggravation )進行無參考圖像質量估計的主要思想是消除參考圖像的概念，而使用失真圖像。因此，作者介紹了多個偽參考圖像(MPRI)的思想。MPRI由失真圖像生成。因此，偽參考圖像(PRI)的質量通常比它的失真圖像差。
該方法的思想是通過進一步‘降解’失真圖像生成一系列的PRI，然後利用local binary patterns(LBP)測量它們之間的相似性來評估其質量。
失真加重
作者說，選擇失真類型至關重要，因為不同的失真會引入不同的偽影，並且需要有一致的PRI。例如，為了估計模糊的偽影，我們可以對失真的圖像進行模糊處理。選定的失真為JPEG，JP2K，高斯模糊(GB)和白噪聲(WN)，以測量阻塞，振鈴，模糊和噪聲偽影。
其中i∈{1,2,3,4,5}表示第i級的失真加重，k和r，b，n表示阻塞，振鈴，模糊和噪聲效應。
LBP特徵提取
為每個MPRI和失真的圖像提取LBP特徵。最初，這些特徵用於對不同類型的紋理進行分類。
其中，
為簡單起見，作者建議P = 4和R =1。
失真圖像與MPRI之間的相似度
為了計算失真加重的圖像和失真圖像之間的相似度，我們將Lo定義為失真圖像(Ld)和MPRI (Lm)特徵圖之間的重疊
其中，
然後質量被定義為：
質量預測
在為所有先前定義的加重計算q分數後，我們需要將所有得到的得分連接到一個特徵向量q中，該特徵向量q包含失真圖像的阻塞，振鈴，模糊和噪聲效果的描述符。
最後，訓練一個迴歸器，將訓練集中圖像的質量標籤(MOS)映射到特徵向量q上。
Blind Image Quality Assessment Based on High Order Statistics Aggregation (HOSA)
HOSA方法是一種混合算法，它利用了無監督學習階段的功能，該階段可以檢測一組失真圖像中的相似塊。此步驟稱為碼本構造(codebook construction)。然後，第二步使用訓練數據集來查找每個新塊與碼本中五個最接近的碼字(codewords)之間的相似性以訓練迴歸器。
HOSA算法分為兩個不同的步驟:
- 碼本構造(Codebook construction)：將一組圖像分成N個塊，用於創建碼本。該碼本是一組K個質量相關的碼字。
- 高階統計量彙總(High order statistics aggregation):給定一個新的訓練數據集，對於每個新塊，將使用它們的高階統計量來關聯5個最近的簇。
局部特徵提取
該方法的總體思路是為每個圖像找到一組N個歸一化的B x B圖像塊I(i，j)(局部特徵提取階段)，每個塊都被歸一化然後用於創建特徵向量。此過程將應用於初始集的所有圖片。作者選擇了CSIQ數據庫。
碼本構造
HOSA不是唯一基於碼本的方法。它是一個多個作者遵循的框架，用於自動檢測對評估圖像質量有用的圖像特徵。碼本框架依賴於將圖像劃分為信息區域的想法。一個信息豐富的區域稱為可視碼字，一組可視碼字構成可視碼本。基於碼本框架的方法之間的區別在於創建此類碼本的算法。在這種方法中，碼字的數量為100。
為了創建碼本，給定集合X包含初始數據集的局部特徵，可以通過使用KMeans最小化累積近似誤差來找到K箇中心。
對於每個簇，均值，協方差和協偏度被計算。
高階統計量彙總
對於訓練集中的每個單個局部特徵x，通過歐幾里得距離選擇r個最近的碼字rNN(x)。作者建議r = 5。計算簇平均值和r個最近碼字之間的殘差。
實際上，對於兩個不同的特徵集，簇k的平均值與指定的r個局部特徵的平均值之間的軟加權差可能會生成相同的m。因此，計算第二和第三階統計量以進一步區分不同的質量等級圖像。
最後，對於訓練集中的每個局部特徵x，將為碼本中的每個簇計算一階，二階和三階統計量，並將其連接起來以創建單個質量相關的特徵向量。
使用質量相關特徵向量作為描述符訓練迴歸器以來學習subjective scores。
性能比較
SRCC( Spearman rank-order correlation coefficient)用於比較不同的方法。根據結果，這三種方法的效果相似。他們通常使用質量相關學習特徵來計算分數。與依靠手工特徵的方法BRISQUE相比，SRCC有了顯著提升。
總結
簡要介紹了三種最新的圖像質量評估方法。所有這些都是基於特徵學習來檢測圖像上的失真。根據作者提供的SRCC分數，這些方法始終優於以前的依靠手工特徵來計算圖像質量的方法。
參考文獻
[1] Kim, J., Nguyen, A. D., & Lee, S. (2019). Deep CNN-Based Blind Image Quality Predictor. IEEE Transactions on Neural Networks and Learning Systems. https://doi.org/10.1109/TNNLS.2018.2829819
[2] Mezghani, LinaWilber, K., Hong, H., Piramuthu, R., Naaman, M., & Belongie, S. (2019). Understanding Image Quality and Trust in Peer-to-Peer etplaces. In 2019 IEEE Winter Conference on Applications of Computer Vision (WACV) (pp. 511–520). IEEE. https://doi.org/arXiv:1811.10648v1
[3] Min, X., Member, S., Gu, K., Zhai, G., & Liu, J. (2018). Blind Quality Assessment Based on Pseudo-Reference Image, 20(8), 2049–2062. https://doi.org/10.1109/TMM.2017.2788206
[4] Min, X., Zhai, G., Gu, K., Liu, Y., & Yang, X. (2018). Blind Image Quality Estimation via Distortion Aggravation. IEEE Transactions on Broadcasting, 64(2), 508–517. https://doi.org/10.1109/TBC.2018.2816783
[5] Xu, J., Ye, P., Li, Q., Du, H., Liu, Y., & Doermann, D. (2016). Blind Image Quality Assessment Based on High Order Statistics Aggregation. IEEE Transactions on Image Processing, 25(9), 4444–4457. Retrieved from https://ieeexplore.ieee.org/abstract/document/7501619/
閱讀更多 人工智能遇見磐創 的文章
