編者按：4月8日，阿里達摩院宣佈推出自研ISP圖像處理器，並且在夜間等具有挑戰性的環境下圖像識別精準率比業界主流產品有10%以上的提升。ISP處理器是攝像頭的關鍵組件，阿里達摩院進入這個領域的邏輯是什麼？
什麼是ISP？
ISP是圖像信號處理器（Image Signal Processor）的簡稱，目前已經被廣泛應用於我們每個人的智能手機當中。大家都知道現在有海量的嵌入式設備都帶攝像頭，近至我們的智能手機、很多的大眾消費級的顯示器，當然也包含正在研發當中的智能駕駛系統，以及各種公共場所上的監控設備，遠至在近地軌道上運行的眾多微型衛星，可以說圖像信號的獲取和處理是一個極為廣泛存在的需求。圖像信號處理器能夠對攝像頭拍攝到的畫面做不同程度的分析，並對畫面做不同程序的增強和改善。
以現在的智能手機為例，大家幾乎每天都會使用自己的智能手機來拍照，而現在的各家智能手機廠商，都並不直接研發攝像頭模組，都是採購歐菲光，索尼等第三方廠商的攝像頭模組，有時候不同的智能手機用了同一個廠家、同一個型號的攝像頭，但是照片呈現出來的質量仍然有非常明顯的不同，這很大程度上就是因為各家廠商使用的ISP的好壞導致的。
對於大家比較熟悉的智能手機日常拍照的場景，手機芯片內置的ISP會進行自動人臉對焦，自動白平衡，自動色調映射等一系列功能，這其中有很多講究，都會直接影響到最終照片質量，例如ISP的自動圖像銳化，如果銳化太多，則照片會有比較明顯的“扎眼”的感覺（因為照片中絕大多數物體邊緣都被優化的太過於銳利），如果銳化太少，則照片整體會有一種朦朧感，給人的感受是這個手機的拍照系統捕捉細節的能力不足。而眾多消費者們每天拍照的場景條件千奇百怪五花八門，沒有一種自動銳化技術是放之四海皆準的，ISP必須能夠自動地檢測識別場景中的一些特徵來決定銳化進行到何種程度。這類ISP研發中的難點反應到產品上，就是大家經常會爭論的各家智能手機拍照系統的“出片風格”、“出片質量”了。
為什麼自動駕駛需要ISP？
在當前流行的在自動駕駛系統構架設計中，總的來說一般都會有一個很強的人工智能系統，去判斷拍照系統傳回的當前場景信息，例如當前場景存在哪些車輛，行人，障礙物，估計速度，估計距離等等。讓這個人工智能系統要想實現高度準確判斷的前提，是拍照系統傳回的當前場景信息儘可能準確無誤。
可以說相比手機這樣的大眾消費品，自動駕駛更加需要ISP。因為對於手機來說，ISP只是決定照片質量的好壞，無非是一個觀感問題，而在高速運動的車輛上，如果ISP不能準確地將場景特徵暴露給後繼系統部件，導致的結果就可能會是災難性的。
例如，由於車輛會處在高速運動當中，所以攝像頭拍攝到的照片往往會帶有一定的“拖尾”或者“重影”，這對於圖像處理系統中的後繼算法去識別物體特徵是不利的，因此ISP的重要職責之一就是減少這種“拖尾”和“重影”。這在ISP當中是一個非常重要的子領域叫做“運動估計”。
再例如，如果是在夜間行車，那麼由於當前攝像頭傳感器技術的限制，夜間的成像往往會暴露比日間成像更多的問題，攝像頭傳感器為了捕捉更多的場景細節，就不得不延長曝光時間，提高進光量，但這樣一來又會帶來明顯的噪點。例如在這組對比圖片中，左圖經過處理後明顯暴露出了更多的場景信息，樹木，草地的細節和邊緣都更加清晰銳利，但與此同時在背景的夜空中，在遠處的建築上，都存在著更多的噪點。
再考慮到自動駕駛系統中應用的電子元器件還有經過車規級驗證，難度又更上一層樓。據筆者所知，一些車規級電子元器件需要耐受125度的工作溫度，而一般大眾消費級市場上的芯片，例如Intel的CPU，只要求100度，接近這個溫度就會觸發過熱保護，電腦會自動掉電重啟。與此同時車規級芯片對可靠性也有額外要求，因此可以毫不誇張地說，ISP在整個自動駕駛系統中的地位是至關重要的，ISP的研發也是非常具有技術含量和挑戰性的一個領域。
達摩院為什麼要自研ISP？
經過20年的發展，阿里從一家電商公司發展成為一家科技巨頭公司，並且今天已經開始扮演全社會數字經濟的基礎設施。今天的阿里不僅在業務範圍上進行橫向擴張，同時在業務深度上也在進行縱向擴張。所以我們看到過去幾年裡，阿里進入了芯片等基礎研研究領域，成立了達摩院，設立了平頭哥半導體公司，並且在量子計算等很多前沿的領域展開研究。
自動駕駛毫無疑問是未來十年中可能帶來顛覆性變化的賽道，阿里沒有理由缺席，更不要說阿里的很多業務場景也需要自動化升級。而頂級的自動駕駛系統，必然是軟件-硬件的配合（人工智能算法 + 傳感器），同樣也有硬件-硬件間的配合（多傳感器融合）。
理想的自動駕駛系統需要在複雜的道路光線環境/惡劣天氣環境下仍然可以得到滿足深度學習算法所需要的圖像數據，這需要算法設計和硬件設計之間的相互配合，與此同時，預知圖像傳感器的曝光時間極其重要，可以保證雷達掃描到某一位置時刻同時觸發圖像傳感器曝光，這需要硬件與硬件之間的相互配合。因此達摩院選擇了自研ISP去追求這一極致。
從目前接觸到的評測結果來看，達摩院的自研ISP已經毫無疑問地躋身業界一流水平，經過自研ISP與深度學習算法的互相配合，夜間場景的識別準確率提升了十個百分點。不要小瞧這十個百分點的提升，這背後有深層算法的創新，對於提升自動駕駛設備的感知能力有著巨大的提升作用。
阿里的戰略
觀察一家企業的戰略，需要一個長時段的維度。從這個角度出發，阿里自研ISP處理器，可能是阿里“芯”戰略的關鍵一步。
阿里已經先後發佈了自研RISCV CPU，自研AI加速芯片，再加上自研ISP處理器的面世，一顆片上系統芯片（SoC）需要的幾大件都擺到了檯面上。
所以，現在這幾個大件已經可以很明顯地拼出阿里在芯片戰略領域的初步輪廓：阿里將會拿出自研的AliSoC，進一步地與同樣正在深耕硬件領域的Google，Amazon等國際頂級廠商展開更多競爭。
十年前的阿里，大眾認知裡還只有電商淘寶。差不多五年前，大家認知里加上了金融（支付寶），拉近到三年前，大家又接納了阿里雲計算。從達摩院宣佈成立到現在短短几年時間，阿里又在極度依賴技術積累的核心硬件領域開始彎道超車，可能用不了幾年，大家又會接納阿里成了一家成功的芯片公司，一家擁有核心技術的新經濟基礎設施公司。
唯一不變的是變化。且待阿里“芯”光燦爛。
