（圖片付費下載自視覺中國）
作者 | 白小魚
轉載自知乎用戶白小魚
【導讀】圖像配準與相關[1]是圖像處理研究領域中的一個典型問題和技術難點，其目的在於比較或融合針對同一對象在不同條件下獲取的圖像，例如圖像會來自不同的採集設備，取自不同的時間，不同的拍攝視角等等，有時也需要用到針對不同對象的圖像配準問題。
具體地說，對於一組圖像數據集中的兩幅圖像，通過尋找一種空間變換把一幅圖像（浮動圖像，moving image）映射到另一幅圖像（參考圖像，fixed image）上，使得兩圖中對應於空間同一位置的點一一對應起來，從而達到信息融合的目的。
圖像配準常為圖像融合的一個預處理步驟。經過精確圖像配準的圖像對，通常可獲得更好的融合效果。
一、定義
圖像配準是使用某種算法，基於某種評估標準，將一副或多副圖片（局部）最優映射到目標圖片上的方法。
根據不同配準方法，不同評判標準和不同圖片類型，有不同類型的圖像配準方法。
（詳見“問題分類”部分）
二、問題背景和應用
圖像配準在計算機視覺、醫學圖像處理、材料力學、遙感等領域有廣泛應用。
由於可應用圖像配準的圖像類型眾多，暫時無法開發出可滿足所有用途的通用優化方法。
圖像配準在醫學圖像處理與分析中有眾多具有實用價值的應用。隨著醫學成像設備的進步，對於同一患者，可以採集含有準確解剖信息的圖像諸如CT，MRI；同時，也可以採集到含有功能信息的圖像諸如SPECT。然而，通過觀察不同的圖像進行診斷需要憑著空間想象和醫生的主觀經驗。採用正確的圖像配準方法則可以將多種多樣的信息準確地融合到同一圖像中，使醫生更方便更精確地從各個角度觀察病灶和結構。同時，通過對不同時刻採集的動態圖像的配準，可以定量分析病灶和器官的變化情況，使得醫療診斷、制定手術計劃、放射治療計劃更準確可靠。
在計算機視覺領域裡，配準方法可被用來進行視頻分析、模式識別，自動跟蹤對象的運動變化。
在材料力學方面，配準通常用來研究力學性質，稱為數字圖像相關。通過對不同相機不同傳感器採集到的信息（形狀，溫度等）進行融合比較，可以計算得到例如應變場、溫度場等數值。通過帶入理論模型可以進行參數反向優化等。
三、相關關鍵詞
相近詞：
image registration (mapping matching, co-registration alignment, fusion)
注：mapping 側重於空間映射，fusion為圖像融合，不僅包括配準還包括數據集成後的圖像顯示。
相近領域：
圖像融合，圖像拼接，圖像分割，超分辨率，圖配準，點雲配準，SLAM
使用方法：
相似性測度，配準精度，配准算法，小波變換，互信息，仿射變換，特徵提取，特徵點匹配，相位相關，角點檢測，邊緣檢測，旋轉角度，相位相關，遺傳算法，深度學習
應用領域：
醫學圖像，遙感圖像，天氣預測，地理信息系統，超分辨率，運動追蹤，自動控制
四、問題分類
圖像配準分類標準不唯一，下面兩圖是某位研究者[2]的分類結果（2014年）。
本人的分類結果見下圖
基於問題特點的分類
1.Registration Quality: 配準性質
根據數據或特徵確定的配準類型。
如自然圖像配準，醫學圖像配準，遙感圖像配準等。
2.圖像採集方式
①Multi-view Analysis: 多視圖配準
同一物體在同一場景不同視角下的圖像配準。
從多個視角捕獲相似對象或場景的圖像，以便獲得掃描對象或場景的更好表示。如使用圖像拼接，從2D圖像重建3D模型等。
②Multi-temporal Analysis: 多時相配準
同一物體在同一場景同視角不同時間的圖像配準。如運動追蹤，腫瘤生長情況跟蹤等。
③Multi-modal Analysis: 多模態配準
多模配準常見於醫學圖像領域，故以多模醫學圖像配準為例。
由於醫學成像設備可以提供關於患者不同信息不同形式的圖像（計算機斷層掃描CT，核磁共振MRI，正電子發射斷層成像PET，功能核磁共振fMRI等）。
基於單種或多種模態圖像的配準，可劃分為單模態（Single-modality）和多模態（Multi-modality）。
Figure 1 MEG-MRI多模態配準
3. Interaction: 配準流程互動性
手動，半自動或自動
4. Dimensionality: 圖像空間維數
若僅考慮空間維數，可以劃分為2D/2D, 2D/3D, 3D/3D等。若考慮時間序列因素，還存在對在不同時刻提取的兩幅圖像進行配準的問題。
5. Domain of transformation: 圖像轉換區域（全局/局部配準）
6. Nature of Registration basis: 配準基準的性質
根據算法所基於的特徵及相似性測度。
①基於內部特徵的配準。
內部特徵指的是從圖像內部本身提取的信息。
基於特徵（feature-based）：在幾何上有特別意義的可以定位的特徵點集（比如不連續點，圖形的轉折點，線交叉點等），或者用分割的方法提取出感興趣的部分的輪廓（曲線或曲面），以作為用來比較的特徵空間。在醫學圖像上可以是具有解剖意義的點。
基於像素值（intensity-based）：利用整幅圖像的像素或體素來構成特徵空間。根據像素值的統計信息來計算相似性測度又可劃分為最小二乘法，傅里葉法，互相關法，互信息法等等。
②基於外部特徵的配準。
在醫學圖像中，通過在患者身上固定標記物或向體內注入顯影物質以獲得在圖像上的確定的標記點，稱為外部特徵點。
③基於不同裝置成像座標的配準
7. Subject of Registration: 配準主體
以醫學圖像配準為例，可分為 Intra-subject （圖像來自於同一病人），Inter-subjective （來自不同的病人）和 Atlas （病人數據和圖譜的配準）三種。
Object of Registration: 配準物體（頭、乳腺、胸、眼、腹、膝蓋 等…）
8. Type of transformation: 變換性質
根據用於將浮動圖像空間與參考圖像空間相關聯的變換模型對圖像配准算法進行分類。對圖像進行空間變換可以分為剛體變換（rigid）和非剛體變換（non- rigid, deformable）。
第一類變換模型是線性變換，包括旋轉，縮放，平移和其他仿射變換。線性變換本質上是全局的，因此，它們無法模擬圖像之間的局部幾何差異。
第二類變換模型允許“彈性”或“非剛性”變換。這些變換能夠局部地扭曲浮動圖像使其與參考圖像對準。非剛性變換包括徑向基函數（薄板或曲面樣條函數，多重二次曲面函數和緊支撐變換），物理連續模型（粘性流體）和大變形模型（微分同胚）。
變換模型通常是參數化的例如，可以通過單個參數（變換向量）來描述整個圖像的變換。這些模型稱為參數模型。另一方面，非參數模型不遵循任何參數化，允許每個圖像元素任意移位。
9. Parameters of Registration: 算法參數
當比較特徵採用特徵點集的形式時，可以通過聯立方程組來找到變換的解。
但一般情況下，配準問題都會轉化為求解相似性測度最優值的問題，在計算方法中通常需要採用合適的迭代優化算法，諸如梯度下降法、牛頓法、Powell法、遺傳算法等。
根據算法本質的分類
圖像配準最本質的分類是：
1.基於灰度的圖像配準；2.基於特徵的圖像配準。
具體的圖像配准算法是基於這兩點的混合或者變體的算法。
五、圖像配準通用流程
通常，圖像配準技術包括四個方面：變換模型、特徵空間、相似性測度、搜索空間和搜索策略。依據這四個特性，圖像配準的步驟一般可分為以下五個步驟：
根據實際應用場合選取適當的變換模型；
選取合適的特徵空間，基於灰度或基於特徵；
根據變換模型的參數配置以及所選用的特徵，確定參數可能變化的範圍，並選用最優的
搜索策略；應用相似性測度在搜索空間中按照優化準則進行搜索，尋找最大相關點，從而求解出變換模型中的未知參數；
將待配準圖像按照變換模型對應到參考圖像中，實現圖像間的匹配。
其中，如何選取合適的特徵進行匹配是配準的關鍵所在。
以基於特徵的圖像配準通用流程為例：
基於特徵的圖像配準通用流程[3]
1.Feature detection: 特徵檢測
圖像配準過程的一項重要任務。根據問題的複雜性，通常分為手動或自動檢測，但通常優先選擇自動特徵檢測。
封閉邊界，邊緣，輪廓，線交點，角點，以及它們的代表點如重心或線末端（統稱為控制點）可以作為特徵。由特殊對象組成的這些特徵必須易於檢測，即特徵將是物理上可解釋和可識別的。
參考圖像必須與浮動圖像共享足夠多的共同特徵集合，而不受到任何未知遮擋或意外改變的影響。用於檢測的算法應該足夠穩健，以便能夠在場景的所有投影中檢測相同的特徵而不受任何特定圖像變形或退化的影響。
2.Feature matching: 特徵匹配
該步驟基本建立在對待配準圖像與在參考圖像中檢測到的特徵之間的對應關係上。
除了特徵之間的空間關係之外，還採用不同的特徵描述符（ feature descriptor）和相似性度量來確定配準的準確性。
必須合理地配置特徵描述符，使得它們在任何退化時仍保持不變，與此同時，
它們需要不受噪聲影響且能適當區分不同的特徵。
3.Transform model estimation: 圖像變換模型的評估
為配準浮動圖像與參考圖像，需要估計映射函數的參數。使用從前一步驟獲得的對應特徵來計算這些參數。
映射函數的選擇，取決於圖像採集過程和預期圖像變形的先驗知識。在沒有任何先驗信息的情況下，必須確保模型的靈活性。
4.Image
transformation/re-sampling: 圖像變換
對浮動圖像使用映射進行圖像變換來配準。
六、圖像配準質量評估標準(performance measures)[3][4]
必須有某種方法來評估圖像配準的準確度和質量。
與此同時，針對不同類型的圖像需要使用不同評估標準。
目前沒有一個絕對的金標準（gold standard）可以評估圖像配準的質量。
下面僅以醫學圖像為例，列舉兩種最經典的評估方法：
單模圖像配準常使用 相關性（Correlation Coefficient, CC）來衡量效果，
而多模圖像配準常使用 互信息（Mutual Information, MI）衡量。
①相關性 Correlation Coefficient (CC)
相關性本質上是一種相似性度量，它可以瞭解浮動圖像和參考圖像的相似程度。如果兩個圖像完全相同，則相關性等於1；而如果兩個圖像完全不相關，則相關性值等於0；若相關性值等於-1，表示圖像完全反相關，這意味著一個圖像是另一個的負面。通過使用相關性作為評價標準，單模態配準可獲得滿意的結果。
對於同一物體由於圖像獲取條件的差異或物體自身發生的小的改變而產生的圖像序列，採用使圖像間相似性最大化的原理實現圖像間的配準，即通過優化兩幅圖像間相似性準則來估計變換參數,主要是剛體的平移和旋轉。相關性主要限於單模圖像配準，特別是對一系列圖像進行比較,從中發現由疾病引起的微小改變。
它表示為：
x_i , y_i 分別為浮動圖像和參考圖像第 i 個像素的強度；
x_m , y_m 為 浮動圖像和參考圖像的平均強度。
②互信息 Mutual Information (MI)
互信息是確定兩個圖像中相應體素的圖像強度之間相似度的另一個度量。當兩個圖像準確對齊時，互信息最大化。互信息的值是非負且對稱。其範圍從零開始，可以變化到高值。高互信息值表示不確定性的大幅降低，而零互信息值清楚地表明這兩個變量是獨立的。
由於該方法不需要對兩種成像模式中圖像強度間關係的性質作任何假設，也不需要對圖像作分割或任何預處理，所以被廣泛地用於CT/MR、PET/MR等多種配準工作。最大互信息法幾乎可以用在任何不同模式圖像的配準，特別是當其中一個圖像的數據部分缺損時也能得到很好的配準效果。
p(x, y) 為 聯合分佈函數；p_1(x) , p_2(y) 為邊際分佈函數。
也常使用圖像分割領域的DICE loss[5]，熵相關係數（Entropy Corrleation Coefficient，ECC）等指標進行評估。
七、前人工作
1.經典方法
《圖像配準技術及其MATLAB編程實現》
Image registration methods：A survey
Image Registration Techniques：A Survey
Deformable Medical Image Registration: A Survey
2.最新熱點
基於神經網絡：
稀疏跨域對象映射 SIGGRAPH 2018：Neural Best-Buddies: Sparse Cross-Domain（
https://kfiraberman.github.io/neural_best_buddies/）
醫學圖像配準[6][7]（參考：Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions）
相關重要綜述文章：
Image registration methods：A survey
Image Registration Techniques：A Survey
Slice-to-volume medical image registration：A survey
A Survey on Deep Learning in Medical Image Analysis
醫學圖像配準技術_羅述謙
相關熱點前沿文章：
Deep Learning in Medical Image Registration: A Survey
A Survey on Deep Learning in Medical Image Analysis
Deep Learning in Medical Image Analysis
A novel relational regularization feature selection method for joint regression and classification in AD diagnosis
A review of substitute CT generation for MRI-only radiation therapy
Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation
The challenge of mapping the human connectome based on diffusion tractography
八、相關開源工具
傳統方法經典工具：
Material Presented at ITK Tutorials
MeVisLab
MATLAB
白小魚：【小白向】MATLAB圖像配準各方法介紹和對比
Image Registration techniques using MATLAB
Registering Multimodal MRI Images using Matlab.
elastix: a toolbox for rigid and nonrigid registration of images.
niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).
Python:
VoxelMorph: A Learning Framework for Deformable Medical Image Registration
Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach
AirLab: Autograd Image Registration Laboratory
其他最新最火的相關開源工具可參考：
Papers With Code : Image Registration
九、數據集
其他類型的數據集正在整理中，暫先公開部分醫學圖像數據集。
醫學圖像公開數據庫：
github.com/sfikas/medic
最新公開的配準數據庫及其官方結果分析：
MICCAI 2018、2019 MR和超聲配準：curious2019 - Grand Challenge
ISBI 2019病理圖像配準：ANHIR - Grand Challenge
arxiv: 1904.10535
Automatic_Non-rigid_Histological_Registration_challenge
參考
wiki 圖像配準 https://www.wikiwand.com
/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86圖像配準簡介
https://blog.csdn.net/carson2005/article/details/38757379ab Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540
醫學圖像配準技術_羅述謙
DICE係數 https://www. wikiwand.com
/zh/Dice%E7%B3%BB%E6%95%B0Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions https://arxiv.org/pdf/1902.05655.pdf
https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
原文鏈接：https://zhuanlan.zhihu.com/p/80985475
（*本文為 AI科技大本營轉載文章，轉載請聯繫作者）
