大數據文摘出品
疫情帶火了線上教育，也把一批老師逼成了“主播”。
為了給在家上課的同學們的同學們更好的學習體驗，老師們煞費苦心，各種線上直播軟件齊上陣。不過，學生還沒開始抱怨，老師倒是先把苦叫上了天，紛紛表示“當主播這麼不容易”。
最近，上海大學開啟在線教學，為了提高學生上課的積極性，根據澎湃新聞報道，上海大學數碼藝術系副主任、副教授蔣飛把他的《動態構成》這門在線教學直播課玩出了花。
作為一名給藝術系學生講授計算機編程的老師，他擔心課程太枯燥學生不願意看，於是利用虛擬現實和增強現實技術，把自己的課堂搬進了二次元，“變裝”上課，從動作到嘴形都可以實時同步動漫人物。
利用技術手段，不僅可以在二次元裡感受更加有代入感的“課堂”環境，還可以讓同學自行選擇各種講課的動畫人物，從萌妹子到機械人，應有盡有。
圖片來自澎湃新聞
如果學生們選擇了二次元萌妹子，上課的畫風瞬間就會變成這樣，上課的學生對此驚訝連連讚不絕口，網課的聽課率也顯著提高。
圖片來自澎湃新聞
近日，蔣飛老師也在澎湃新聞的採訪視頻中說明了自己為何萌生了這樣的想法，又是如何“變裝”萌妹子上課的，快和文摘菌一起來看看吧~
視頻來自澎湃新聞
“變裝萌妹”上課，從本科課堂火到了研究生
其實，在做增強現實的網課之前，蔣飛也遇到了上述難題，就是老師辛辛苦苦錄製了網課，但是課程上線後，並不是所有的學生都看了。
於是，為了讓同學們更輕鬆也更容易地進行學習，也為了更好地給藝術系的同學們講解計算機編程的相關知識，他利用了雙目攝像頭，再結合了自己開發的軟件，完成了在線“變裝” ，在這個系統完成後，蔣飛表示，“學生上課的積極性，還有作業質量的提高有明顯的進步”。
甚至，蔣飛發現，有不少學生會提前完成錄播課的學習，提前上交作業，到了課堂討論環節，學生會提出超綱問題。因此他現在也需要根據同學們的學習情況實時調整授課進度。
“這也是因課制宜，我的課程講計算機方面的藝術，很多設計用到編程，非常適合網上教學。”蔣飛說，錄播課可以反覆回看，直播課用來答疑互動，虛擬替身就是在這時出現。
圖片來自澎湃新聞
一開始，只有本科畢業設計課上會用到“變裝”設備，但是研究生知道這個情況後，也紛紛“上書”要求老師這樣上課。如今，蔣飛已經優化了軟件，能夠實現虛擬替身的流暢運行了。
“線下上課仍以老師為中心，線上教學以學生為中心，我的造型都是學生幫選的。”談到線上教學，蔣飛認為，這也是對老師的一種挑戰，老師的壓力更大了，“我感覺上了一個小時的線上，相當於兩個小時的線下，真的是成倍的增加”。
雙目攝像頭捕捉人體，自制軟件合成動畫
生成這樣的虛擬替身一共需要兩個步驟，一是
通過視頻捕捉老師的肢體動作；二是通過軟件將實時監測出的人體數據通過軟件與虛擬形象進行匹配，生成動畫。傳統的人體動作捕捉一般用於影視製作，在一些科幻片的拍攝花絮上，我們經常可以看到綠幕前的演員身上綁了許多小球，這些小球就是一種傳感器，可以將位置狀態實時傳輸到計算機中用於後期合成。
這種方式儘管比較精確，但是過於複雜，蔣飛老師採取的是利用雙目攝像頭來捕捉肢體動作。
雙目攝像頭可以在同一場景下拍攝左右兩幅圖像，運用立體匹配算法獲取視差圖，進而獲取深度圖，而後通過景深圖對二維圖像進行三維重建。
當然，蔣飛老師的目的是將身體動作同步到動畫人物上，因此也不需要進行完整的三維建模，而只需要通過視頻定位自己的身體部位，即基於雙目視覺構建人體動作捕捉系統，一種可行的方法是基於顏色特徵的Camshift算法對人體關節進行追蹤，結合Kalman濾波提高抗干擾性。
當然，現在也有各種深度學習模型可以提供基於視頻的人體姿態估計，並且不需要雙目視覺，普通攝像頭也可以完成，主要是通過大量已標記的視頻數據進行模型訓練，從而讓模型可以僅憑二維圖像就可以捕捉人的關鍵關節（肘部、手腕、膝蓋等）。
從DeepNet到HRNet，文摘菌也曾經對基於深度學習的“人體姿勢估計”進行了梳理，感興趣的同學可以回顧一下。
第二步便是將檢測到的人體數據與動畫人物相匹配，這個需要相應的軟件，Adobe公司出品的CharacterAnimator就可以將人體的動作實時投射到動畫人物，但是卻不能實時運行，只能用於後期。
蔣飛老師是通過自己製作的軟件完成的這一步，並且進行了優化，這個軟件要將接收到的雙目攝像頭的視頻數據轉化為人體姿態數據，再對虛擬人物進行實時渲染，還要合成到課堂環境中，這個難度還是不小的。
近年來，我國線上教育風生水起
這次變裝“蘿莉”的老師蔣飛是上海大學美術學院數碼藝術系副主任、美國麻省理工媒體實驗室訪問教授、中國工業設計協會信息與交互設計專業委員會委員。他從事的研究方向正是數字媒體藝術與信息與交互設計，始終致力於打造技術與藝術融合的複合型人才，認為學生們應該有良好的藝術素養和獨特的個人創意。
蔣飛曾公開表示過，跨學科合作應該是高校數字藝術發展的一個方向，因為數字媒體人才是複合型人才，除了要求從業者有熟練的操作技巧之外，更要求從業者有良好的藝術素養和獨特的個人創意，技術教育應與文化、藝術融合。創新型數碼藝術人才要求數字製作相關人員既要具有人文藝術修養，又要能夠運用最新的數字製作技術手段。
這次疫情期間，蔣飛通過“變裝”的方式為同學們上網課，講技術和媒介完美結合，也是對自己的教學理念做出了最直接的實踐。
其實近年來，用技術輔助內容的線上教育也是風生水起，比如去年北京郵電大學就開通了虛擬課堂，採用5G＋4K全息投影的方式遠程直播授課。
去年9月16日，北京郵電大學全息投影遠程直播教室首次正式上課。在沙河校區由蘆鵬飛老師主講的諾貝爾物理學獎簡史課程以全息投影的方式與西土城校區的同學們見面了。
北郵的這次全息投影遠程直播授課主要有兩個特色，一是憑藉5G低時延、高速率特性實現的4K影像實時傳輸，二是全息投影帶來的全新體驗。
蘆鵬飛老師在沙河校區現場授課
西土城校區呈現的實時全息影像
線上的同學們看到的課堂
基於5G技術實現的4K全息影像傳輸非常流暢，上課過程中幾乎沒有出現卡頓現象，相當驚豔。但是，全息投影技術還沒有盡善盡美，依舊有很大的發展空間。
去年12月20日，北郵又表示可以在線上學數學了！
李鶴老師站在藍色的幕布前，生動的講著拉格朗日中值定理，面前卻沒有一位學生。沒錯，大家都在屏幕前！
授課中的李老師
同學們看到的課堂
不僅可以在寢室看直播學習，直播結束後還可以看回放哦~北郵的同學們對虛擬課堂讚不絕口，同時也充滿了期待：
“全息影像授課非常新穎，而且比傳統的視頻遠程授課更加真實。”
“感謝李老師生動精彩的講評，很多思路都對我有極大的幫助，希望今後可以看到更多新技術與教學的融合應用，不斷帶給我們更好的課程體驗！”
通過這次疫情采取的線上學習，讓我們感受到老師們的努力與敬業，同時也讓我們看到了未來網課的無限潛力。科技和教育一直是相輔相成的兩個方向，可以推動彼此向更好的方向發展。
如果未來的網課都能做到生動形象，智趣兼備，讓學生體會到學習的趣味性，那麼這樣的網課，誰能不愛呢？
閱讀更多 大數據文摘 的文章
