據麥姆斯諮詢介紹，總部位於法國巴黎的創業公司Prophesee，是神經形態視覺系統領域的開拓者。全球圖像傳感器領導者索尼（Sony）和Prophesee近日在美國舊金山舉行的國際固態電路會議（International Solid-State Circuits Conference）上聯合宣佈，雙方合作開發出了一種基於事件的堆疊式圖像傳感器。
這種新型圖像傳感器基於Prophesee的事件驅動技術設計，結合了索尼先進的堆疊式CMOS圖像傳感器技術。
成像芯片（左）和邏輯芯片（右）
Prophesee聲稱，這款基於事件驅動的圖像傳感器，提供了業界最小的像素尺寸和業界最高的高動態範圍（HDR）。這款受人類大腦啟發的圖像傳感器，能夠幫助工業機器設備、機器人以及自動駕駛汽車更好地“觀察”並感知周圍的環境。
雙方的合作伙伴關係或將預示著一個全新的時代，即人工智能（AI，包括AI感知和AI處理）即便現在還沒有直接嵌入生成數據的傳感器本體，也可以在非常靠近傳感器的位置進行處理。
天作之合
索尼是全球領先的CMOS圖像傳感器供應商。雙方的合作關係，直接為Prophesee的新型傳感技術提供了可靠的商業背書。Prophesee首席執行官Luca Verre期待雙方的合作，能夠為Prophesee基於事件的相機技術打開通往大眾市場的大門。
傳統圖像傳感器（左）和基於事件的圖像傳感器（右）的成像對比
Verre表示：“我們的技術本身也應用大量的晶體管、電子電路和光電二極管，因此，與索尼的合作始終是我們的首選。”兩家公司在2017年就開始了合作。Verre承諾，首批基於事件的堆疊式圖像傳感器將在2020年送樣。
與Prophesee的合作關係可能會給索尼帶來突破性發展，使這家日本巨頭有機會拓展事件驅動型視覺應用。
潘多拉魔盒
Yole首席分析師Pierre Cambou認為，Prophesee和索尼的合作伙伴關係相當於“打開了潘多拉魔盒”。
在Prophesee開發的神經形態相機中，“每個像素，實質上都是一個神經元，”Cambou指出。Cambou稱目前的芯片堆疊技術開發“仍處於早期階段”，他預測到一定的階段，神經元、存儲和處理可以全部堆疊在一起。當前，產業對於將更多智能引入“邊緣”或“端點”的熱情，預示著未來某天會在傳感器內部感知並處理AI。
“索尼將能夠開發一種集成AI的圖像傳感器，可以‘實時增強圖像’，或者打造一種可以直接提供‘事件驅動感知’的圖像傳感器。”Cambou解釋說。
事實上，已經有人將神經網絡應用於著名的早期電影“火車到站（Arrival of a Train at La Ciotat）”（現代電影先驅盧米埃爾兄弟在1896年拍攝），以填補丟失的像素。通過現代技術可以將這部已有124年曆史的老電影修復並升級到每秒60幀的4K視頻。這類用現代技術升級的視頻在互聯網上風靡一時，Cambou解釋說，AI的強大已經在影像領域得到了充分證明。
AI仿生方案是馮·諾依曼（von Neumann）計算架構的進化。Cambou說：“隨著AI的進一步普及，它的重要性將不斷提高。”
基於事件的堆疊式圖像傳感器構建模塊
在這款全新設計的事件驅動型圖像傳感器中，成像芯片（頂部）和邏輯芯片（底部）堆疊在一起。該邏輯芯片併入了信號處理電路，旨在基於異步增量調製方法檢測每個像素的亮度變化。這兩顆芯片的每個像素使用銅-銅（Cu-Cu）互連以堆疊形式實現電氣連接。
傳統傳感器（左）與堆疊式傳感器（右）
由此，這款新型圖像傳感器實現了業界最小的（4.86μm）像素尺寸。它還通過精細的40nm邏輯工藝實現高密度集成，提供1/2型1280 x 720 HD分辨率。
新款事件驅動型圖像傳感器的另一個特點是能夠提供Prophesee聲稱的業內最高的HDR性能：124dB（或更高）。通過在成像芯片（頂部）上集成背照式像素和一部分N型MOS晶體管，從而使孔徑比提高77%，能夠實現124dB的HDR性能。索尼經過多年的CMOS圖像傳感器研發投入，已經開發出高靈敏度和低噪聲技術，能夠在微光條件下（40mlx）進行事件檢測。
協同合作
Prophesee首席執行官Verre指出，索尼在合作關係中扮演的角色可不僅是代工廠。憑藉紮實的知識和基於事件技術的專有IP組合，Verre稱：“我們在合作之初對於如何設計像素就有了明確的想法。”結合索尼先進的製造工藝，兩家公司的共同努力使新的事件驅動型圖像傳感器設計（從模擬芯片、邏輯芯片到功耗）成為可能。
Verre指出，這種夥伴關係也不只是純粹的研發合作，而是旨在保持長期的合作關係，在開發應用時一起將技術商業化推向大眾市場。
這對索尼意味著什麼？
CMOS圖像傳感器的全球供應商很多。Cambou注意到，索尼深信“CMOS圖像傳感器將不再僅限於成像，未來將延伸至智能感知”，這恰是Cambou一直在宣傳的預判。
還記得索尼在2015年收購比利時SoftKinetic公司嗎？SoftKinetic是一家3D傳感計算視覺技術開發商。Cambou評價稱，通過此次收購，使索尼得以在不斷增長的飛行時間（ToF）傳感器市場搶佔一席之地，而安卓智能手機廠商在去年開始突然對ToF傳感器提出了需求。Cambou說，如果當時不涉足深度傳感技術，索尼可能就會錯失這波機遇。
在Cambou看來，索尼與Prophesee的夥伴關係沒有什麼不同。當汽車和工業機器視覺市場的廠商開始尋找更豐富的傳感數據來增強他們的運營時，他們更有可能引入一種新的傳感技術，而不是簡單地再投入另一臺相同的相機。
簡而言之，Prophesee或將成為一家補強索尼使之進入事件驅動型圖像傳感器市場的合作伙伴，就像SoftKinetic使索尼得以開發“深度感知（DepthSense）”解決方案，並將其引入智能手機市場一樣。
現在，藉助DepthSense技術，索尼正在為許多安卓智能手機OEM廠商供應ToF圖像傳感器。顯然，這進一步增強了索尼在CMOS圖像傳感器領域的市場領導地位，而索尼已經在智能手機的前後攝像頭中佔據了大部分的市場份額。
更多國內外新聞資訊，請關注公眾號：MEMS
閱讀更多 麥姆斯諮詢 的文章
