魚羊 十三 發自 凹非寺
量子位 報道 | 公眾號 QbitA
僅僅根據元學習(Meta-Learning)的基線，就徹底打敗了所有“花裡胡哨”的改進方法。
就是這些看似簡單，又容易被忽略的方法，卻有著強大的魔力。
而它們的發現者，是一位叫做陳胤伯的在讀本科生，來自清華姚班。
他提出了一種元基線 (Meta-Baseline)方法，通過在所有基類(base classes)上預先訓練分類器，並在基於最近質心的少樣本(few-shot)分類算法上進行元學習，實驗結果大大優於目前最先進的方法。
那麼問題來了：為什麼這麼簡單的方法卻如此有效？
作者發現，在元學習階段，一個模型在基類未見任務中的獲得更強泛化能力的同時，在新類任務中的泛化表現可能反而下降。
此外，對於元基線來說，存在2個重要的因素：一個是預訓練，另一個是從預訓練分類器中繼承一個好的少樣本分類度量。
這就有可能讓模型更好地利用，具有更強可傳遞性的預訓練表示。
陳胤伯的研究可以說是從問題的本質出發，直擊“七寸”，正如論文所說：
這項工作為該領域建立了一個新基準，並給進一步理解元學習框架(用於少樣本學習)提供了思路。
知名互聯網博主、北郵陳老師也分享了這項研究，得到了較高的關注。
那麼，具體又是怎麼做到的呢？
什麼是元基線方法？
少樣本學習的目的，是讓分類模型能遷移到僅帶有少量標記樣本的新類別中。而元學習是目前少樣本學習研究中比較常見的方法。
陳胤伯的元基線方法所做的，是用最簡單的形式利用預訓練分類器和元學習的優勢。
元基線方法包括兩個訓練階段。
階段一：預訓練階段
預訓練階段，主要是分類器基線（Classifier-Baseline）的訓練。
具體方法是，在具有標準交叉熵損失的所有基類上訓練分類器，然後刪除其最後一個 FC 層，得到編碼器 fθ。編碼器能將輸入映射到特徵空間。
階段二：元學習（meta-learning）階段
這一階段，主要基於分類器基線評估算法，進行模型優化。
給定預訓練特徵編碼器fθ，在基類訓練數據中採樣 N-way K-shot 任務。
為了計算每個任務的損失，在支持集（support-set）中計算N種類型的質心，公式如下。
然後用它們來計算查詢集（query-set）中每個樣本的預測概率分佈，公式如下。
損失是根據 p 和查詢集樣本的標籤計算的交叉熵損失。
簡單的基線改良，大幅提升性能
那麼，元基線方法效果如何？
論文作者在 miniImageNet 和 tieredImageNet 兩個數據集上進行了實驗。
△miniImageNet
△tieredImageNet
可以看到，儘管元基線方法設計簡單，但在兩個數據集上，都明顯超過了前輩們，提高了至少 2 個百分點。
這樣的改進效果並不僅僅侷限於 N-way K-shot 任務。在單類 K-shot 任務中，實驗結果同樣證明了元學習階段的有效性。
作者還在大規模數據集 ImageNet-800 上進行了進一步評估。
在這一規模的數據集上，1-shot 任務中，比起分類器基線，元基線有大幅提升。但在 5-shot 任務中，性能沒有明顯的改善。
一位清華姚班本科生
最後，姚班代有才人才，一起認識一下今日主角吧。
陳胤伯，清華姚班本科生，高中就讀於湖南省長沙市長郡中學，高中期間除了日常學習外，大部分時間都投入到了算法競賽之中。
陳胤伯回憶說，非常幸運身邊能有許多提供指導、探討問題的朋友，可以共同學習、共同進步。
加之對算法競賽濃厚的興趣和不懈的努力，陳胤伯在NOI 2014上摘得金牌，入選國家集訓隊，並保送清華大學。
目前，陳胤伯就讀於清華姚班(清華學堂計算機科學實驗班)，將於今年本科畢業。
不過下一階段目標也已經明確。
接下來，他將繼續在計算機領域中深造，前往UCSD(加州大學聖迭戈分校)攻讀博士學位。
△我不管這就是大佬本佬
最後，量子位也聯繫到陳胤伯本人，就個人和學術的一些話題進行了交流。他簡單、直率，回答孜孜乾脆，我們把問答實錄同步如下。
One more thing：問答陳胤伯
量子位：為什麼要選擇研究元學習這一領域？
陳胤伯：感覺少樣本學習這個問題比較有價值，元學習是少樣本學習目前比較常見的方法。這篇文章並不是研究廣泛意義上的元學習，主要還是對少樣本學習的探討。
量子位：其他研究者目前主要關注改進的點是哪個/些方面
陳胤伯：關注的點挺廣的，我瞭解到的有提出新方法的 (比如meta-learning, self-supervised learning)，也有嘗試探索新的更符合實際的少樣本學習setting的。
量子位：是怎麼發現大部分人忽略基線方法缺陷的？
陳胤伯：做實驗發現的。
量子位：目前很多科研人員選擇在已有的方法上進行改良，然後發paper、畢業，對於這樣的一個態度或者趨勢，有何看法？為什麼沒有這麼做？
陳胤伯：我覺得在已有方法上改良、發paper、畢業這三件事都挺好的(?)，很多有價值的發現都是在改良中慢慢產生的。這篇paper主要側重對現象的討論，不過也有在經典方法上改良。
量子位：本科階段就開始科研相關，你是怎麼看論文、篩選論文的？如何處理與其他通識、基礎課程學分的關係？
陳胤伯：看論文：google搜，沿著相關工作找。如何處理：好好學習。
量子位：現在在清華學習過程中，有什麼不同？或者有沒有一些經驗分享？
陳胤伯：不同就是不搞競賽了。沒啥值得分享的經驗。
量子位：姚班的培養機制，對你來說受益最大的是哪一方面？
陳胤伯：氛圍很好，在與老師、同學的交流中能收穫很多。
量子位：從這次科研過程中，有何心得體會？
陳胤伯：沒啥特別的……
量子位：平時有怎麼樣的興趣愛好？
陳胤伯：有一些大家都有的愛好。
量子位：看研究是和伯克利的老師合作，本科畢業之後，準備去伯克利讀博嗎？還是有其他打算？
陳胤伯：去UCSD讀博。
嗯，大佬的回答，果然幹練，且精闢。
最後，希望陳胤伯在接下來的學習道路上一帆風順，不斷帶來新進展、新研究和新發現。
傳送門
論文地址：
https://arxiv.org/abs/2003.04390
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
