Transformers 從pytorch-pretrained-bert遷移

這是從pytorch-pretrained-bert遷移到transformers時應注意的事項的快速摘要。

模型始終輸出tuple

從pytorch-pretrained-bert遷移到transformers時,主要的突破性變化是模型forward方法始終根據模型和配置參數輸出帶有各種元素的tuple。

每個模型的元組的確切內容在模型的文檔字符串和文檔(https://huggingface.co/transformers/)中進行了詳細說明。

在幾乎每種情況下,你都可以通過將輸出的第一個元素用作先前在pytorch-pretrained-bert中使用的輸出來正常工作。

這是BertForSequenceClassification分類模型的pytorch-pretrained-bert到transformers的轉換示例:

<code># 讓我們加載模型 model = BertForSequenceClassification.from_pretrained('bert-base-uncased') # 如果你以前在pytorch-pretrained-bert中使用此行: loss = model(input_ids, labels=labels) # 現在只需在transformers中使用以下代碼即可從輸出元組中提取loss: outputs = model(input_ids, labels=labels) loss = outputs[0] # 在transformers你也可以訪問logits: loss, logits = outputs[:2] # 將模型配置為輸出注意力權重的話,可以輸出注意力權重值(其他輸出,也請參閱文檔字符串和文檔) model = BertForSequenceClassification.from_pretrained('bert-base-uncased', output_attentions=True) outputs = model(input_ids, labels=labels) loss, logits, attentions = outputs/<code>

序列化

from_pretrained()方法的重大變化:

現在,在使用from_pretrained()方法實例化時,默認情況下將模型設置為評估模式。要訓​​練它們,不要忘記將它們重新設置為訓練模式(model.train())以激活dropout模塊。提供給from_pretrained()方法的附加*inputs和** kwargs參數通常直接傳遞給基礎模型的類init __()方法。現在,它們可用於首先更新模型配置屬性,這可以突破先前的BertForSequenceClassification示例構建的派生模型類。更確切地說,提供給from_pretrained()的位置參數* inputs被直接轉發給model的`
init ()方法,而與配置類屬性匹配的關鍵字參數** kwargs:(i)匹配配置類屬性用於更新所述屬性(ii)與任何配置類屬性都不匹配的屬性被轉發到model的init __()`方法。

同樣,雖然沒有什麼大的變化,但是序列化方法已經標準化,如果以前使用過任何其他序列化方法,則可能應該切換到新方法save_pretrained(save_directory)。

這是一個例子:

<code>###讓我們加載模型和令牌生成器 model = BertForSequenceClassification.from_pretrained('bert-base-uncased') tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') ### 對我們的模型和令牌生成器做一些事情 # 例如: 將新標記添加到模型的詞彙表和嵌入中 tokenizer.add_tokens(['[SPECIAL_TOKEN_1]', '[SPECIAL_TOKEN_2]']) model.resize_token_embeddings(len(tokenizer)) # 訓練模型 train(model) ### 現在讓我們將模型和tokenizer保存到目錄中 model.save_pretrained('./my_saved_model_directory/') tokenizer.save_pretrained('./my_saved_model_directory/') ### 重新加載模型和tokenizer model = BertForSequenceClassification.from_pretrained('./my_saved_model_directory/') tokenizer = BertTokenizer.from_pretrained('./my_saved_model_directory/')/<code>

優化程序:BertAdam和OpenAIAdam現在是AdamW,日程表是標準的PyTorch日程表

以前包括的兩個優化器,BertAdam和OpenAIAdam,已由單個的AdamW優化器代替,但有一些區別:

僅實現權重衰減校正,schedules現在是外部的(請參閱下文),梯度裁剪現在也是外部的(請參閱下文)。

新的優化器AdamW與PyTorchAdam優化器API匹配,可讓你使用標準的PyTorch或apex方法進行schedule和裁剪。

現在,這些schedules已成為標準的PyTorch學習率調度程序,現在不再是優化程序的一部分。

以下是轉換示例:

<code># 參數: lr = 1e-3 max_grad_norm = 1.0 num_training_steps = 1000 num_warmup_steps = 100 warmup_proportion = float(num_warmup_steps) / float(num_training_steps) # 0.1 ### 以前,BertAdam優化器是這樣實例化的: optimizer = BertAdam(model.parameters(), lr=lr, schedule='warmup_linear', warmup=warmup_proportion, t_total=num_training_steps) ### 並像這樣使用: for batch in train_data: loss = model(batch) loss.backward() optimizer.step() ### 在“Transformer”中,優化器和schedules按如下方式拆分和實例化: optimizer = AdamW(model.parameters(), lr=lr, correct_bias=False) # 要重現BertAdam特定的行為,請設置correct_bias = False scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=num_warmup_steps, num_training_steps=num_training_steps) # PyTorch調度程序用法如下: for batch in train_data: model.train() loss = model(batch) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_grad_norm) # 梯度裁剪不再在AdamW中了(因此你可以毫無問題地使用放大器) optimizer.step() scheduler.step() optimizer.zero_grad()/<code>