【新智元導讀】OpenAI顧問、伯克利加州分校人工智能實驗室主任、機器人學習實驗室主任攜其博士生,為大家貢獻一門長達4個月的深度無監督學習課程,該課程是深度無監督學習的優秀課程,涵蓋了許多當前的最新水平,尤其是該課程使用了最新的模型更新研究生級課程。
最近因為疫情,缺乏防護且人員密集的學校成為了重災區。
國外高校在不斷的爆出確診案例,紛紛開始效仿中國學校的措施:延長假期、停課封校、直播上課。
我們中國的學生雖然佔了早隔離早停課的便宜,但同時也帶來了很大的問題。
相信各位在家裡“上課”的同學們,應該都心知肚明。很少有人能夠抵擋住缺乏學習氛圍和老師監督的情況下,各種“俗事”帶來的誘惑。
雖然大家嘴上都在說在哪裡摔倒就在哪裡睡著,然而現實的殘酷並不會因為鴕鳥的腦袋埋進沙子裡就會消失,相反,只會變得越來越殘酷。
或許當你在家裡,一邊看著B站上UP主的沙雕視頻、一邊在微博上吐槽和家長的各種矛盾,你可能沒有意識到,即使是這些沙雕UP主們,也是在用100%的努力去沙雕!
或許當幾個月後疫情真的過去了,學校恢復了正常,你會突然發現和班裡某些人的差距,突然一下子拉的更大了!這個時候你可能滿腦袋裡都是“比我聰明的人還比我更努力。”
那麼,為什麼不現在開始努力呢?
所以今天我們為大家帶來伯克利的2020新春課程《cs294-158,深度無監督學習》。
這門課程,伯克利每年都會開設。之所以推薦,不僅僅因為是名校的經典課程,讓斯坦福畢業的前谷歌大腦成員讚不絕口,更重要的是這門課程每年真的更新,教材中使用的最新的模型!
課程介紹
本課程將涵蓋兩個深度學習領域:深度生成模型和自我監督學習。
生成模型的最新進展使得可以對高維原始數據進行逼真的建模,例如自然圖像,音頻波形和文本語料庫。從微調到看不見的任務方面,自我監督學習的步伐已開始縮小有監督表示學習與無監督表示學習之間的差距。本課程將涵蓋這些主題及其新啟用的應用程序的理論基礎。
這門課程暫定的主題包括生成對抗網絡(Generative Adversarial Networks)、變分自動編碼器(Variational Autoencoders)、自迴歸模型(Autoregressive Models)、流模型(Flow Models)、基於能量的模型(Energy based Models)、壓縮(Compression)、自監督學習(Self-supervised Learning)、半監督學習(Semi-supervised Learning)。
該課程對概率論、優化和深度學習基礎有一定的要求。
課程安排
暫定時間/教學大綱
課時時間課程內容L11/22簡介L21/29自迴歸模型L32/5流量模型L42/12潛在變量模型L52/19隱式模型/生成對抗網絡L62/26隱式模型/生成對抗網絡 ctd +最終項目討論L73/11自我監督學習/非生成表示學習L83/18迄今為止涵蓋的無監督學習方法的優缺點L94/1半監督學習;無監督分配對齊L104/8壓縮L114/15語言模型[來賓講師:Alec Radford OpenAI ]
4/22期中L124/29強化學習中的表徵學習
5/6RRR周 無講座
5/13最終項目演示文稿+最終項目報告
課程講師
本課程講師由大家熟悉的UC伯克利教授Pieter Abbeel,帶領3位博士生擔綱。
Pieter Abbeel是加州大學伯克利分校教授,EECS,BAIR,CHAI,師從吳恩達。
現任伯克利機器人學習實驗室主任、伯克利人工智能研究(BAIR)實驗室聯合主任;covariant.ai聯合創始人,總裁兼首席科學家、OpenAI顧問。
Pieter Abbeelhttps://people.eecs.berkeley.edu/~pabbeel/
Peter Chenhttp://peterchen.io/
Jonathan Hohttp://www.jonathanho.me/
Aravind Srinivashttps://people.eecs.berkeley.edu/~aravind/
相關資源
課程主頁:
https://sites.google.com/view/berkeley-cs294-158-sp20/
閱讀更多 新智元 的文章