UER-py開源預訓練模型框架

UER-py開源預訓練模型框架

UER-py是一個開源預訓練模型框架，用pytorch實現的，也包括了預訓練模型。

預訓練已經成為NLP任務的重要一部分。目前基於混合中文預料的BERT預訓練模型（24 layers）已經可用了。

特點：

可復現性，多GPU支持，具有最新的模型，有效性，中文模型的支持，SOTA效果。

依賴：Python3.6 ，torch>=1.0

數據集：

ChnSentiCorp Douban book review Online shopping review LCQMC XNLI MSRA-NER NLPCC-DBQA Sina Weibo THUCNews

在cpu上預訓練的例子：

python3 pretrain.py --dataset_path dataset.pt --vocab_path models/google_zh_vocab.txt --output_model_path models/output_model.bin --encoder bert --target bert

在gpu上預訓練的例子；

python3 pretrain.py --dataset_path dataset.pt --vocab_path models/google_zh_vocab.txt --output_model_path models/output_model.bin --encoder bert --target bert --gpu_ranks 3

基於詞的評估效果：

Target word: 蘋果Target word: 騰訊Target word: 吉利

蘋果公司0.419新浪0.357沃爾沃0.277

apple0.415網易0.356伊利0.243

蘋果電腦0.349搜狐0.356長榮0.235

微軟0.320百度0.341天安0.224

mac0.298樂視0.332哈達0.220