這是從pytorch-pretrained-bert遷移到transformers時應注意的事項的快速摘要。
模型始終輸出tuple
從pytorch-pretrained-bert遷移到transformers時，主要的突破性變化是模型forward方法始終根據模型和配置參數輸出帶有各種元素的tuple。
每個模型的元組的確切內容在模型的文檔字符串和文檔(https://huggingface.co/transformers/)中進行了詳細說明。
在幾乎每種情況下，你都可以通過將輸出的第一個元素用作先前在pytorch-pretrained-bert中使用的輸出來正常工作。
這是BertForSequenceClassification分類模型的pytorch-pretrained-bert到transformers的轉換示例：
<code># 讓我們加載模型 model = BertForSequenceClassification.from_pretrained('bert-base-uncased') # 如果你以前在pytorch-pretrained-bert中使用此行： loss = model(input_ids, labels=labels) # 現在只需在transformers中使用以下代碼即可從輸出元組中提取loss： outputs = model(input_ids, labels=labels) loss = outputs[0] # 在transformers你也可以訪問logits： loss, logits = outputs[:2] # 將模型配置為輸出注意力權重的話，可以輸出注意力權重值(其他輸出，也請參閱文檔字符串和文檔) model = BertForSequenceClassification.from_pretrained('bert-base-uncased', output_attentions=True) outputs = model(input_ids, labels=labels) loss, logits, attentions = outputs/<code>
序列化
from_pretrained()方法的重大變化：
現在，在使用from_pretrained()方法實例化時，默認情況下將模型設置為評估模式。要訓練它們，不要忘記將它們重新設置為訓練模式(model.train())以激活dropout模塊。提供給from_pretrained()方法的附加*inputs和** kwargs參數通常直接傳遞給基礎模型的類init __()方法。現在，它們可用於首先更新模型配置屬性，這可以突破先前的BertForSequenceClassification示例構建的派生模型類。更確切地說，提供給from_pretrained()的位置參數* inputs被直接轉發給model的`同樣，雖然沒有什麼大的變化，但是序列化方法已經標準化，如果以前使用過任何其他序列化方法，則可能應該切換到新方法save_pretrained(save_directory)。
這是一個例子：
<code>###讓我們加載模型和令牌生成器 model = BertForSequenceClassification.from_pretrained('bert-base-uncased') tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') ### 對我們的模型和令牌生成器做一些事情 # 例如: 將新標記添加到模型的詞彙表和嵌入中 tokenizer.add_tokens(['[SPECIAL_TOKEN_1]', '[SPECIAL_TOKEN_2]']) model.resize_token_embeddings(len(tokenizer)) # 訓練模型 train(model) ### 現在讓我們將模型和tokenizer保存到目錄中 model.save_pretrained('./my_saved_model_directory/') tokenizer.save_pretrained('./my_saved_model_directory/') ### 重新加載模型和tokenizer model = BertForSequenceClassification.from_pretrained('./my_saved_model_directory/') tokenizer = BertTokenizer.from_pretrained('./my_saved_model_directory/')/<code>
優化程序：BertAdam和OpenAIAdam現在是AdamW，日程表是標準的PyTorch日程表
以前包括的兩個優化器，BertAdam和OpenAIAdam，已由單個的AdamW優化器代替，但有一些區別：
僅實現權重衰減校正，schedules現在是外部的(請參閱下文)，梯度裁剪現在也是外部的(請參閱下文)。新的優化器AdamW與PyTorchAdam優化器API匹配，可讓你使用標準的PyTorch或apex方法進行schedule和裁剪。
現在，這些schedules已成為標準的PyTorch學習率調度程序，現在不再是優化程序的一部分。
以下是轉換示例：
<code># 參數: lr = 1e-3 max_grad_norm = 1.0 num_training_steps = 1000 num_warmup_steps = 100 warmup_proportion = float(num_warmup_steps) / float(num_training_steps) # 0.1 ### 以前，BertAdam優化器是這樣實例化的： optimizer = BertAdam(model.parameters(), lr=lr, schedule='warmup_linear', warmup=warmup_proportion, t_total=num_training_steps) ### 並像這樣使用： for batch in train_data: loss = model(batch) loss.backward() optimizer.step() ### 在“Transformer”中，優化器和schedules按如下方式拆分和實例化： optimizer = AdamW(model.parameters(), lr=lr, correct_bias=False) # 要重現BertAdam特定的行為，請設置correct_bias = False scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=num_warmup_steps, num_training_steps=num_training_steps) # PyTorch調度程序用法如下： for batch in train_data: model.train() loss = model(batch) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_grad_norm) # 梯度裁剪不再在AdamW中了(因此你可以毫無問題地使用放大器) optimizer.step() scheduler.step() optimizer.zero_grad()/<code>