Transformers 模型上傳和共享

從v2.2.2開始,你可以使用庫中內置的CLI上傳與社區共享你的微調模型。

首先,在以下網址上創建一個帳戶。

https://huggingface.co/join

然後:

<code>transformers-cli login
# 使用與huggingface.co上相同的憑據登錄/<code>

上傳你的模型:

<code>transformers-cli upload ./path/to/pretrained_model/

# 上傳一個文件夾包含weights/tokenizer/config
# 通過`.save_pretrained()`保存

transformers-cli upload ./config.json [--filename folder/foobar.json]

# 上傳單個文件
# (你可以選擇覆蓋其文件名,該文件名可以嵌套在文件夾中)/<code>

然後,可以通過其標識符,用戶名和上面的文件夾名稱的組合來訪問模型:

<code>"username/pretrained_model"/<code>

請在model_cards/文件夾下添加README.md到倉庫中,其中model_cards/包括:模型描述,訓練參數(數據集,預處理,超參數),評估結果,預期用途和限制等。

現在你的模型現在在havingface.co/models上有一個頁面

任何人都可以從代碼中加載它:

<code>tokenizer = AutoTokenizer.from_pretrained("username/pretrained_model")
model = AutoModel.from_pretrained("username/pretrained_model")/<code>

列出你在S3上的所有文件:

<code>transformers-cli s3 ls/<code>

你還可以刪除不需要的文件:

<code>transformers-cli s3 rm …/<code>


分享到:


相關文章: