2018 iFLYTEK AI 開發者大賽分賽題“方言種類識別AI挑戰賽”初賽從今天起正式開始!同時,其提交作品通道也將全面開啟!
提交作品時間:6月20日—7月19日
報名截止時間:7月10日
此次大賽面向全球開發者首次開放中文方言語音數據集,利用開放的方言語音數據集進行模型訓練,優化方言種類的識別效果。
賽題詳情
方言種類識別 AI 挑戰賽任務為漢語方言語言種類識別,即根據給定語音,判斷該語音屬於哪個方言。科大訊飛全球首次開放覆蓋中國六大方言區,總時長約 60 小時的 10 種漢語方言語音數據集,供參加競賽的科研單位以及開發者免費使用。
方言識別 AI 挑戰賽結果評價指標為分類正確率:即分類正確的語音條數/所有語音條數。訓練集合與開發集合供參加競賽的科研單位以及開發者調試系統使用,測試集合不開放,最終排名以參賽者提交的系統在線上測試集合上的結果為準,分類正確率越高排名越靠前。
基線系統介紹
官方提供一個基於神經網絡的端到端方言識別系統。該系統採用LSTM(Long Short-Term Memory,LSTM)模型,並以CE(cross entropy,CE)準則優化模型。
其中語音特徵採用40維的FB(Filter Bank,FB)特徵,並對特徵進行整句均值規整處理;LSTM是隱層節點為128的1層單向結構,再連接全連接層後進行softmax,並做幀級輸出值的平均,用於預測方言的類別標籤,此處用於預測方言的個數為6。
在測試時,待測語音經過LSTM模型後會得到維度等於方言個數(6)的得分向量,維度最高值對應的方言即為判定的方言種類。
評測方式
本次比賽的測試集是不公開的,因此需要參賽者提交自己的評測系統(不提供訓練所需的計算平臺,模型由參賽者自行訓練完成),具體操作方式如下:
a)初賽提交系統時,請提交參賽者名稱、第一作者、參賽系統(提交方式見下面詳述)
b)複賽提交系統時,需要額外提交一份參賽系統的論文或者說明書(最好能夠附帶提供源代碼),詳細介紹系統的構成、訓練方法和對應的參數
c)如無特殊情況,每天上午11點在官方網頁上公佈各個參賽者在測試集上的分類正確率並對結果進行排序(每個參賽單位的結果以最新提交的為準)
評測系統
1.評測系統目錄結構
/dataset…………………………測試數據目錄,評測代碼必須遍歷此目錄下所有音頻文件(後綴名為pcm)進行測試
/inference………………………評測代碼及資源目錄,系統運行的當前路徑
/result……………………………評測代碼中要創建此目錄,並請將評測結果以result.txt命名,存放在此目錄,文件格式見《result.txt》
2.本地開發調試
a. 訓練——參賽者下載訓練集和開發集,自行訓練
可參考基線系統的LSTM模型方案,使用開源深度學習框架進行模型訓練,也可以採用其他技術方案。完成模型訓練後再進行本地評測調試。
b. 本地評測調試——使用開源深度學習訓練框架(推薦)
請從公開鏡像倉庫下載對應版本的深度學習鏡像CPU版本,編寫本地程序進行評測。以pytorch工具為例:
I.下載鏡像,docker pull floydhub/pytorch:0.4.0-py2.29
II.下載開發集,並存放到 /dataset目錄,將評測代碼inference.sh及評測所需資源複製到 /inference目錄
III.運行鏡像,docker run –it –v /dataset:/dataset –v /inference:/inference –v /result:/result floydhub/pytorch:0.4.0-py2.29 /inference/inference.sh
IV.查看輸出結果(result\\result.txt文件),並檢查該輸出結果的正確性
其他框架與此類似
c. 使用非開源深度學習訓練框架
首先,要將使用的深度學習訓練框架製作成docker鏡像,上傳至公開鏡像倉庫(推薦使用國內穩定鏡像倉庫服務,如UCloud)
d. 製作詳情可參考docker官方文檔,具體操作如下:
I.在hub.docker.com註冊賬號,並創建倉庫
II.本地執行docker tag your_demo your_account/your_demo:latest
III.本地執行docker push account/your_demo:latest,等待命令執行成功後,即可在hub.docker.com網頁上,看到新提交的鏡像信息。
鏡像提交完成後,參考使用開源深度學習訓練框架中的步驟,進行本地開發和調試,具體的為:
IV. 下載上傳的鏡像,docker pull yourtoolname
V.下載開發集到 /dataset目錄,將評測代碼inference.sh及評測所需資源複製到 /inference目錄
VI.運行鏡像,docker run –it –v /dataset:/dataset –v /inference:/inference –v /result:/result yourtoolname /inference/inference.sh
VII.查看輸出結果,並檢查該輸出結果的正確性。
3.提交評測系統
a. 將/inference目錄打包成tar文件,tar –cvf inference.tar inference/
b. 在比賽官網中評測系統提交頁面進行上傳
4.線上驗證及評測
a. 配置系統所需的鏡像倉庫地址,鏡像入口及驗證參數(/dataset目錄由系統自動將開發集掛載到鏡像內)
b. 點擊“提交”,等待評測結果,確保提交的測試程序能夠遍歷運行環境下/dataset目錄內所有pcm文件
c. 如評測報錯或效果異常,請排查/inference目錄結構、鏡像等配置信息
5.溫馨提示:
各位選手提交的評測系統,需要遍歷dataset目錄下所有測試文件,並按規定格式輸出包含所有測試文件分類結果的result.txt文件,比賽系統會自動根據result.txt中的分類結果計算正確率,並作為比賽成績。
6. 關於docker的使用說明?
docker的使用說明(點擊查看詳情)
PS:有疑問的小夥伴,歡迎添加小助手微信或者直接在留言區留言。小助手看到後一定會及時為您解答哦~
您也可以直接添加開發者大賽小助手的微信
◆您將獲得的參賽權益:
1.參加初賽並提交有效作品:
· 團隊與作品參賽證明
2.入圍複賽
· 團隊與作品晉級複賽證書
· 大賽紀念勳章及定製禮包
· 1024開發者節全場通票
3.入圍決賽
· 團隊與作品晉級決賽證書
· 大賽決賽戰隊紀念勳章
· 科大訊飛明星產品套裝
· 訊飛創孵基地綠色入駐通道
4.決賽勝出
· 總計¥100萬元現金
· 大賽獲獎證書與獎盃
· AI全鏈創業扶持
· 1024科技晚宴席位
· 綠色就業通道&訊飛Offer
大家切記要在報名截止時間之前在官網上完成所有報名流程!
報名戳我:官方唯一報名通道!