蘋果最新AR專利提出「點雲壓縮圖像填充」技術

當一束激光照射到對象表面時,所反射的激光會攜帶方位和距離等信息。若將激光束按照某種軌跡進行掃描,系統可以邊掃描邊記錄反射的激光點信息。由於掃描極為精細,我們能夠獲得大量的激光點,而它們可以形成激光點雲。

新款iPad Pro搭載了激光雷達LiDAR掃描儀,而它顯然具有促進AR體驗的潛力。如同HoloLens 2或Magic Leap 1中的深度傳感器一樣,iPad Pro中的LiDAR掃描儀可以用作飛行時間傳感器,測量從表面反射而回的光線點雲。

蘋果曾在一份聲明中指出:“LiDAR掃描儀可測量距周圍對象的距離(最遠5米),可支持室內和室外,並在納秒級的光子水平下運行。”

實際上,如果你有留意映維網的專利分享,你應該不會對蘋果的點雲技術感到陌生,因為這家公司已經提交過數十份相關的技術發明。

日前,美國專利商標局又公佈了一份名為“Point Cloud Compression Image Padding”的點雲技術專利申請。

苹果最新AR专利提出「点云压缩图像填充」技术

蘋果在文件中主要描述了點雲壓縮圖像填充技術。

在一些實施例中,系統包括一個或多個配置成捕獲共同構成點雲的點的傳感器,其中每個點包括識別各點空間位置的空間信息,以及定義與各點相關聯的一個或多個屬性的屬性信息。

系統同時包括配置成壓縮點的屬性和/或空間信息的編碼器。為了壓縮屬性信息和/或空間信息,編碼器配置成對於點雲確定多個補丁,每個補丁對應於點雲的部分。

編碼器進一步配置為,對於每個補丁,生成一個補丁圖像,所述補丁圖像包括與補丁相對應的點的集合。編碼器可生成另一個補丁圖像,所述補丁圖像包括諸如深度信息的幾何信息,並用於與補丁相對應的點的集合。其中,幾何信息包括垂直於補丁平面的方向上的點的深度。

編碼器進一步配置成將生成的補丁圖像打包成一個或多個圖像幀。而且,所述編碼器配置成將一個或多個打包的圖像幀提供給視頻編碼組件。另外,編碼器配置成在二維空間中縮小打包的圖像幀。

在一些實施例中,解碼器配置成接收一個或多個編碼圖像幀,所述編碼圖像幀包括用於壓縮點雲的多個補丁圖像。對於每個補丁,一個或多個編碼圖像幀包括一個補丁圖像,所述補丁圖像包括:包括投射到補丁平面上的一組補丁點。補丁圖像同時包括一組補丁點的深度信息,其中,深度信息說明一組補丁點在垂直於補丁平面的方向上的深度。

在一些實施例中,深度補丁圖像可以與其他屬性補丁圖像一起打包到圖像幀中。例如,解碼器可以接收由上述編碼器生成的一個或多個圖像幀。圖像幀中的至少一個圖像幀可以在編碼器縮小比例,並且解碼器可以在二維視頻域中對縮小後的圖像幀進行比例放大。

解碼器可以進一步配置為接收或確定關係信息,以說明各屬性補丁圖像、深度補丁圖像和/或圖像幀之間的關係信息。例如,解碼器可以接收壓縮點雲文件中的關係信息。在一些實施例中,解碼器可以根據包括在壓縮點雲文件中的信息來確定關係信息。在一些實施例中,解碼器可利用接收到的或確定的關係信息來調整用於視頻解碼視頻編碼圖像幀的一個或多個參數。

相關專利:Point Cloud Compression Image Padding

名為“Point Cloud Compression Image Padding”的專利申請最初在2019年9月提交,並在日前由美國專利商標局公佈。

原文鏈接:https://yivian.com/news/73528.html


分享到:


相關文章: