生活談彈譚
儀表的圖像識別，相比起人臉、車牌，難點主要是，儀表圖像中存在動態的干擾因素，難以有效排除。
先看看，車牌識別
車牌的識別，只要車牌不被遮擋，車牌上不會出現動態的干擾因素，即使車牌在移動，存在圖像的幾何變形，但是干擾物的相對位置是基本固定的，識別過程中是容易排除的。
再看看，人臉識別
人臉的識別，和車牌一樣，共同的也是沒有動態的干擾因素，至於頭髮只要不遮擋眼、口、鼻等主體形態特徵，仍然不構成動態干擾。再加上，一般情況下，人會主動保持臉部潔淨，也對識別創造了條件。
儀表圖像識別
儀表的圖像識別，從下面的彩色圖片，可以看出，多數儀表是為人眼識別而設計的。
儀表界面，通常都有刻度和對應的數值，有不同形態的商標、數值單位、精度信息等。
指針式的儀表，通常指針和刻度線等寬，而且比較細。
對於高精度指針式儀表，刻度盤還有反光鏡，用來調整讀數視線，當看到指針和鏡內指針重合時，就確保了視線垂直於刻度盤。
在指針轉動的時候，與數值、商標這些圖案重疊，構成了動態的干擾因素，影響指針與刻度的相對位置判斷，從而增加了識別難度。
從下面的灰度圖，可以看出，圖像識別採集後，進行灰度處理的結果。
人在識別儀表數值的時候，會靠近指針位置、視線垂直於刻度盤來讀數，才能準確讀出數值。
人站在一眼看幾個表的視線下，是很難準確讀數的，再加上，指針與刻度盤不是重合的，當視線與刻度盤不垂直時，讀出的數據是不可信的。
如果需要準確儀表圖像識別，需要讓鏡頭光軸穿過指針轉軸，成像焦點面與刻度盤平行，才能消除由於指針與刻度盤不重合帶來的視線讀數誤差。
為了消除由數值單位、商標等刻度盤額外信息帶來的干擾，並且能分別出很細的指針與刻度線，還要使用高分辨率的鏡頭與感光原件，成本增加也是問題。
這對於只識別一個表還能將就，如果是一個組合儀表，就需要移動鏡頭，增加了系統複雜程度和故障率。
這些都是儀表圖像識別的難點。
機電匠
儀表識別的挑戰主要包括三個層面：識別率、通用性、配套服務。下面從這三個層面分別展開回答。
識別率
影響深度學習模型識別率的因素是多方面的，可以從圖像、算法、數據三個角度進行分析。
1、圖像層面
1）受惡劣錶盤環境影
由於水、電、氣、熱等儀表所處的環境比較複雜，通常安裝於狹小、隱蔽的位置。這些地方常年累月無人問津，導致儀表本身經常出現進水、表面髒汙、結構遭到破壞等現象。這種情況下拍攝的儀表圖片通常質量較低。對於有水珠、水泡、水紋的儀表，拍攝的圖片其數字容易出現變形和切斷的現象。這就給識別造成了嚴重的干擾。另外，錶盤髒汙、錶盤凍裂、灰塵、反光、傳輸出錯也是降低識別率的因素。當儀表錶盤出現髒汙等現象時，即使是使用手機拍攝高清大圖，有時也難以辨認數字或指針。
2）受到拍攝終端分辨率影響
對於低分辨率圖像進行高精度的識別，其本身就是一個學術難點，通常圖像的識別率會隨著分辨率的降低而下降，初始階段降低比較緩慢，隨後出現快速下降。
對於儀表識別而言，該問題主要出現在覆蓋式或懸掛式攝像終端所拍攝圖片的識別上，出於降低終端成本、增加終端電池壽命的考慮，攝像終端所採用的攝像頭分辨率都不高，拍攝的圖片尺寸都比較小，並且使用較高的圖片壓縮率。如何延緩識別率降低的拐點是該問題研究的重點。因此需要尋找一個成本與識別率之間的平衡點。
2、算法層面
深度學習的出現，極大地促進了目標檢測、圖像分類等任務性能的提升。每年在ImageNet、Caltech Pedestrian Detection Benchmark等公開數據上目標識別的精度、速度不斷改進。然而，當前基於深度學習的目標檢測、識別技術在某些方面仍存在不足。例如，低分辨率識別、小目標問題、多尺度問題、遮擋問題、旋轉目標識別問題、泛化性問題等。如下圖所示。
1）小目標識別挑戰
對於手機拍攝的儀表圖片（通常來自於抄表人員），存在小目標識別挑戰。由於拍照時操作的不規範性，有時拍的儀表比較小，在圖片中僅佔的範圍較小。小目標通常具有比較弱的視覺信息，給其識別和定位帶來了很大的困難。小目標的尺寸比較小，不能在更高尺度的特徵圖上進行識別。而低尺度的特徵圖缺乏語義信息、上下文信息。如何有效地在網絡中引入語義信息、上下文信息是一個難點。技術上需要採用上下文推理、動態放縮、特徵融合等方法應對。
2）尺度和視角變化的挑戰
現實世界中的目標通常具有較大的尺度變化，尺度變化範圍可以從幾像素到幾百幾千像素，這就給當前的目標檢測、識別算法帶來了巨大的困難。對於預設錨框的方法就需要精心的鋪設好錨框，從而能覆蓋所有尺度的目標。然而，大量的錨框會顯著降低推斷速度。該問題也多見於手機攝像抄表。
3）旋轉識別挑戰
手機拍攝的儀表圖片可能具有較大的旋轉變化、視角變化。當前學術上重點研究具有不變性的識別，即不管目標是否發生形變，仿射變化，只要能判定目標的位置和類別即可。即使是旋轉目標檢測問題也較少研究。然而，在儀表識別這一任務中，旋轉變化、仿射變化對讀數判定有很大影響。
除了以上提到的挑戰以外，儀表結構存在諸多變化性，包括不同子目標的放置位置差異、字體差異、顏色差異、指針形狀差異等等。這些變化性給儀表識別帶來了很大的困難。在一個儀表數據集上訓練的模型經常出現在新表型上不能準確識別的現象。
3、數據層面
除了算法本身所面臨的問題之外，數據收集和標註問題也同樣突出。目前深度學習模型需要大量數據進行訓練，這些訓練數據需要囊括各種不同場景下的不同類型的儀表。要收集這些數據，就必須對大量安裝在不同類型儀表上的終端進行連續拍照。收集到數據之後，仍需對其進行標註才可進行訓練。而目前的標註方式大都依賴手工標註。
標註和管理數據集會消耗相關人員大量的時間和精力。通用性
開發出一個通用人工智能程序是人們長久以來的夢想。近期，相關的研究領域也變得活躍起來，例如，終生學習、元學習等等。然而，不得不說，即使是開發一個通用的儀表識別程序也存在很多困難。其困難來自於兩個層面：感知和決策。如前所述，由於圖片的低質量，當前感知算法自身的缺陷，不能精確的獲取到用於推理的相關信息。而對於決策層面，由於儀表的類型多種多樣，讀數的規則可能也多種多樣，這就給決策帶來了很大的困難。
例1：一種類型、一種讀法
對於不同類型的儀表讀數方法通常存在很大差異。例如指針水錶，需要根據每個指針的位置得到一個數字，再根據前後變化的關係得到最終讀數。對於液晶電錶，需要識別出小數點和數字，順序串接一起，得到讀數。
例2：對小數位的識別要求
有時，人們不關心小數點後的讀數，需要去掉。然而，不同儀表在表徵小數點位置上存在較大差異。即使對於外形比較相似的電錶和燃氣表，其差異也比較明顯。如圖8所示。有些表通過一個點或者通過顏色表徵小數點。但是小數點可能存在差異，比如是實心還是空心圓。使用顏色表徵小數位時，顏色可能是數字的背景色，也可能在數字外有一個帶顏色的框。這些變化性給感知和決策都帶來了較大的挑戰。
例3：太專業，不知道怎麼讀
有些表可能具有專業用途，普通群眾可能難以接觸，因此，可能不知道如何讀數，需要查閱相關的資料。
例4：選擇困難症
實際中，還存在多屏調變表和多區域表的情況。多屏調變表以一定的或可變的時間間隔呈現具有不同意義的數字，終端以固定的間隔拍攝一批圖片，需要通過某種方法將其中需要的數字挑選出來。當表的有效屏比較少，數值接近，或者數值突變（用戶充電）時，會給算法帶來一定的難度。多區域表為一張圖片中存在多個儀表的情況。學術上解決該問題的方法是標出每個區域，每個區域分配一個類別，但這並不一定適用於讀表。
最後，即使是同一類型的儀表，不同的客戶可能有不同的實際需求，這又給讀數決策帶來了更大的困難。然而，這可能更多是一個工程性問題。會給維護帶來較大難度。
配套服務
一個優秀的識別模型，不僅要有精確的識別效果，其配套的服務也須具備易用性、可靠性、安全性。
1、易用性
易用性即客戶對提供的服務容易理解和使用，相關的配套設施完善。例如，某客戶只需要調用算法識別的API接口，接口調用參數需要儘量簡單，相關的配套文檔需要清晰準確。對於無開發能力的客戶，可能會有客戶端監控的需求，因此需要根據客戶需求，定製相關的客戶端功能。除了對圖片識別結果的簡單展示，圖表彙總、統計、數據分析都能在一定程度上增加易用性。
2、可靠性
給客戶提供的識別接口需要穩定可靠，不能經常出現連接失敗、空值等現象。這需要識別服務採用合理的架構，並且部署在穩定的雲平臺上。在服務架構方面，目前較為流行的架構方式是採用微服務這一設計思路，通過Docker和Kubernetes等技術，把各項識別服務容器化，部署在單一機器或服務器集群上。通過把服務容器化這種方式，服務編排和管理的可靠性得到了一定程度的保證。而在雲平臺方面，目前市場上比較成熟的雲服務器提供商有亞馬遜的AWS，阿里巴巴的阿里雲，騰訊的騰訊雲等。在這些較為成熟、穩定的雲平臺上部署服務可以在一定程度上保證識別服務在機器層面的可靠性。
3、安全性
客戶的數據有時是隱私敏感的，需要相關的技術手段脫敏，從而保證用戶隱私不被洩露。或者具備私有化部署的能力，將算法和雲平臺部署到客戶自己的機器上，完全實現服務供應方在數據不可見的情況下提供完整的識別服務。
4、併發
識別接口在設計時需要充分考慮併發的問題。提升併發能力最直觀的兩種方式為：增設服務器、降低模型推斷時間。其中，增設服務器直接增加了識別服務可用的計算資源，從而提高了併發量；降低模型推段時間則是使模型能夠更有效率地利用計算資源。
人臉識別 VS 儀表識別
最後，我們看下儀表識別與人臉識別的對比。人臉識別中最有挑戰的N:N街拍機抓罪犯場景對比，尺度、分辨率、光照、抗干擾等方面兩者挑戰度類似，角度層面人臉識別難度更大，但在目標多樣性和識別精度與魯棒性上儀表識別挑戰大很多，例如識別出的罪犯10中1即可，而儀表識別結果卻仍需要保證精度與魯棒性。
以上，謝謝
