是百度AR提供給開發者的AR應用開發集成方案,具有效果領先、快速接入、超輕量、靈活易用、跨平臺等特性,提供多種觸發方式、感知跟蹤、虛實融合、人機交互等AR核心技術。AR技術的主要應用場景包括營銷廣告、教育培訓、娛樂互動、商品展示、特效拍攝、美妝美顏、遊戲互動、導航導覽等。
核心技術
一體化人機交互
1、人臉特效:基於百度飛槳(PaddlePaddle)高性能深度學習框架,人臉關鍵點檢測在大姿態、極端表情、遮擋等複雜場景下表現出可靠的魯棒性和準確性,可用於實現人臉美型、美妝、道具以及3D動畫表情等豐富人臉特效。
2、肢體特效:移動端實時肢體骨骼點/輪廓點檢測,支持16點3D骨骼點、18點/59點2D關鍵點不同輸出方式,跨平臺兼容iOS/Android/Windows等主流終端設備,適用於肢體遊戲或實時美體瘦身、全身特效等特效場景。
3、手勢特效:超輕量級手部交互算法能力矩陣,涵蓋手勢識別、指尖點檢測和手勢關鍵點檢測,精準度業內領先。全平臺實時高速運行,可實現手勢控制、手部特效、空間作畫等多種創意玩法。
4、環境特效:完備的環境特效能力矩陣,包括人像分割、天空分割、頭髮分割、物體檢測等多項算法能力,打造人像與虛擬環境的自然融合,支持人像背景替換、染髮、天空特效、動畫疊加及更多視頻創意特效的組合。
大場景物理世界交互
基於釐米級視覺地圖構建VPAS(視覺定位與增強服務),對大場景物理世界進行實時6Dof位姿跟蹤,實現實時動態交互
1、離線高精地圖構建:百度已實現了一套完整的地圖構建方案,支持對用戶通過移動設備採集的數據進行處理分析,打通常見三維重建數據導入接口,並且兼容相同格式下的第三方數據。具備數據批量化生產能力和易集成特性。
2、實時定位與跟蹤:採用最具前瞻性的視覺技術方案,提供釐米級高精度實時定位與跟蹤服務,將融合百度視覺語義化能力,持續提升在線定位穩定性與精準度;擁有兼容Google、Apple平臺的持續跟蹤能力與獨有自研跟蹤能力共同構成的融合跟蹤方案,可滿足市場高中低端機型的全場景體驗需求。
其他核心技術
1、3D 識別與跟蹤:國內領先的3D識別、跟蹤能力,支持實物的跟蹤識別。在創新性引入紋理特性與邊緣輪廓聯合優化的基礎上,可對日常生活及工業場景中豐富紋理或弱紋理的3D物體進行實時跟蹤。
2、3D互動和特效渲染:超輕量、跨平臺的移動端AR互動和渲染引擎。遊戲級AR 3D場景虛實互動效果,支持3D動畫表情、手勢、肢體等互動需求;基於PBR的逼真場景渲染實力,支持大規模場景渲染,支持實時物理特效,同時為開發者提供完善的腳本系統和靈活的API接口。
3、SLAM:跨平臺兼容iOS與Android系統,支持主流高中低端機型,支持設備總量超十億。具備初始化快捷、交互簡單優勢。
SDK版本
1、AR SDK Pro版(免費版)
- 內置輕量引擎、可選私有化部署
- 高靈活相機增強框架,可友好集成至各類相機應用
- 內置自研跨平臺渲染引擎,支持遊戲級內容和交互
- 內容管理方式靈活,任選官方內容服務或私有化部署
2、AR SDK Unity版
- 集成AI識圖、實例豐富
- 接口簡單易用,可快速集成發佈至多平臺
- 快速集成百度AI圖像識別雲服務
- 豐富應用實例在Asset Store免費開放下載
使用流程
內容開放平臺
DuMix AR內容平臺是百度AR推出的AR內容製作和發佈管理的一站式開放平臺,幫助開發者高效製作並分發AR內容。
僅需4步,快速創建AR內容:面向生態合作伙伴和加入平臺的應用開發者全面免費開放滿足不同用戶的AR內容製作需求
1、工具選擇:我們提供個性化的代碼腳本傳包器,豐富便利的內容製作模板、靈活全面的網頁版編輯器以及高效的雲端內容存儲及管理平臺,以滿足不同用戶對AR內容創建的需求。
2、內容編輯與上傳:根據提示填寫詳細的項目內容信息,將有助於提高用戶分享與轉化率。
3、預覽發佈:創建AR內容後,我們將為您提供DuMix View工具APP,通過手機端掃描左側二維碼,快速預覽體驗你的AR創意。
4、審核上線:上傳的AR內容經審核通過後,即可成功上線百度系大流量渠道或自有APP渠道。提交申請成為我們的合作伙伴,與我們共創、共建AR生態,共享更多福利!
SDK優勢
開發資源
下載SDK:
http://ai.baidu.com/sdk#ar
開發文檔:
http://ai.baidu.com/docs#/DuMixAR-Android-SDK/top
教程視頻:
https://ai.baidu.com/support/video
未經作者授權請勿進行轉載搬運~