## はじめに: 実験を管理する
### サインアップしてAPIキーを発行する
APIキーは、お使いのマシンをW\&Bに認証するために使用します。APIキーはユーザープロフィールから発行できます。
### `wandb` ライブラリをインストールしてログインする
`wandb` ライブラリをローカルにインストールしてログインするには、以下の手順に従います。
### プロジェクトに名前を付ける
W\&B のプロジェクトは、関連する run からログされたすべてのチャート、データ、モデルを保存する場所です。プロジェクトに名前を付けることで、作業を整理しやすくなり、1 つのプロジェクトに関するすべての情報を 1 か所にまとめられます。
run をプロジェクトに追加するには、`WANDB_PROJECT` 環境変数にプロジェクト名を設定するだけです。`WandbCallback` はこの環境変数からプロジェクト名を取得し、run の設定時に使用します。
### トレーニング run を W\&B にログする
コード内でもコマンドラインからでも、`Trainer` のトレーニング引数を定義する際に**最も重要なステップ**は、W\&B でログすることを有効にするため、`report_to` を `"wandb"` に設定することです。
`TrainingArguments` の `logging_steps` 引数では、トレーニング中のメトリクスをどのくらいの頻度で W\&B に送信するかを制御します。また、`run_name` 引数を使って、W\&B 上のトレーニング run に名前を付けることもできます。
以上です。これで、モデルはトレーニング中に損失、評価メトリクス、モデルのトポロジー、勾配を W\&B にログするようになります。
### モデル チェックポイントを有効にする
[Artifacts](/ja/models/artifacts/) を使用すると、最大 100GB までのモデルとデータセットを無料で保存でき、さらに W\&B の [Registry](/ja/models/registry/) を利用できます。Registry を使用すると、モデルを登録して確認や評価を行ったり、ステージングに向けた準備をしたり、本番環境にデプロイしたりできます。
Hugging Face のモデル チェックポイントを Artifacts にログするには、`WANDB_LOG_MODEL` 環境変数を次のいずれか *1 つ* に設定します。
* **`checkpoint`**: [`TrainingArguments`](https://huggingface.co/docs/transformers/main/en/main_classes/trainer#transformers.TrainingArguments) の `args.save_steps` ごとにチェックポイントをアップロードします。
* **`end`**: `load_best_model_at_end` も設定されている場合、トレーニング終了時にモデルをアップロードします。
* **`false`**: モデルをアップロードしません。
#### W\&B Registry
チェックポイントをArtifactsにログしたら、[Registry](/ja/models/registry/) を使って最良のモデル チェックポイントを登録し、チーム全体で一元管理できます。Registry を使うと、最良のモデルをタスクごとに整理し、モデルのライフサイクルを管理し、ML ライフサイクル全体をトラッキングおよび監査し、後続のアクションを[自動化](/ja/models/automations/)できます。
モデル Artifact をリンクする方法については、[Registry](/ja/models/registry/) を参照してください。
### トレーニング中に評価出力を可視化する
トレーニング中または評価時にモデルの出力を可視化することは、モデルがどのように学習しているかを正しく理解するうえで重要になることがよくあります。
Transformers Trainer のコールバックシステムを使用すると、モデルのテキスト生成結果やその他の予測など、役立つ追加データを W\&B 表 にログできます。
トレーニング中に評価出力をログし、このような W\&B 表 に記録する方法の詳細なガイドについては、以下の[カスタム ログする セクション](#custom-logging-log-and-view-evaluation-samples-during-training)を参照してください。
### W\&B Run を終了する (Notebook のみ)
トレーニングを Python スクリプト内で実行している場合、W\&B run はスクリプトの終了とともに終了します。
Jupyter または Google Colab のノートブックを使用している場合は、`run.finish()` を呼び出して、トレーニングの完了を W\&B に伝える必要があります。
```python theme={null}
run = wandb.init()
trainer.train() # トレーニングを開始し、W&B にログする
# トレーニング後の分析、テスト、その他のログ対象コード
run.finish()
```
### 結果を可視化する
トレーニング結果をログしたら、[W\&B ダッシュボード](/ja/models/track/workspaces/) で結果をインタラクティブに確認できます。数十件のrunを一度に簡単に比較し、興味深い発見を拡大して詳しく見たり、柔軟でインタラクティブな可視化によって複雑なデータからインサイトを引き出したりできます。
## 高度な機能とよくある質問
### 最良のモデルを保存するにはどうすればよいですか
`Trainer` に `load_best_model_at_end=True` を含む `TrainingArguments` を渡すと、W\&B は最も性能の高いモデル チェックポイントを Artifacts に保存します。
モデル チェックポイントを Artifacts として保存した場合は、[Registry](/ja/models/registry/) に昇格できます。Registry では、次のことができます。
* ML タスクごとに最良のモデル バージョンを整理する。
* モデルを一元管理し、チームと共有する。
* モデルを本番向けにステージングしたり、追加の評価のためにブックマークしたりする。
* 後続の CI/CD プロセスをトリガーする。
### 保存したモデルを読み込むにはどうすればよいですか？
`WANDB_LOG_MODEL` を使ってモデルを W\&B Artifacts に保存している場合は、追加のトレーニングや推論のためにモデルの重みをダウンロードできます。あとは、それを以前使っていたのと同じ Hugging Face のアーキテクチャに読み込むだけです。
```python theme={null}
# 新しい run を作成する
with wandb.init(project="amazon_sentiment_analysis") as run:
# Artifact の名前とバージョンを渡す
my_model_name = "model-bert-base-high-lr:latest"
my_model_artifact = run.use_artifact(my_model_name)
# モデルの重みをフォルダにダウンロードしてパスを返す
model_dir = my_model_artifact.download()
# 同じモデルクラスを使って、そのフォルダから
# Hugging Face モデルを読み込む
model = AutoModelForSequenceClassification.from_pretrained(
model_dir, num_labels=num_labels
)
# 追加のトレーニングを行うか、推論を実行する
```
### チェックポイントからトレーニングを再開するにはどうすればよいですか？
`WANDB_LOG_MODEL='checkpoint'` を設定していた場合は、`TrainingArguments` で `model_dir` を `model_name_or_path` 引数として使用し、`Trainer` に `resume_from_checkpoint=True` を渡すことで、トレーニングを再開することもできます。
```python theme={null}
last_run_id = "xxxxxxxx" # wandb workspace から run_id を取得する
# run_id から wandb の run を再開する
with wandb.init(
project=os.environ["WANDB_PROJECT"],
id=last_run_id,
resume="must",
) as run:
# run に Artifact を接続する
my_checkpoint_name = f"checkpoint-{last_run_id}:latest"
my_checkpoint_artifact = run.use_artifact(my_model_name)
# チェックポイントをフォルダにダウンロードしてパスを返す
checkpoint_dir = my_checkpoint_artifact.download()
# モデルと trainer を再初期化する
model = AutoModelForSequenceClassification.from_pretrained(
"
### トレーニング中に評価サンプルをログして表示するにはどうすればよいですか
Transformers の `Trainer` 経由で W\&B にログする処理は、Transformers ライブラリの [`WandbCallback`](https://huggingface.co/transformers/main_classes/callback.html#transformers.integrations.WandbCallback) が担います。Hugging Face のログすることをカスタマイズする必要がある場合は、`WandbCallback` をサブクラス化し、Trainer クラスの追加の method を活用する機能を加えることで、このコールバックを拡張できます。
以下に、この新しいコールバックを HF Trainer に追加する一般的なパターンを示します。さらに下には、評価出力を W\&B の表にログする完全なコード例を掲載しています。
```python theme={null}
# Trainer を通常通りインスタンス化する
trainer = Trainer()
# 新しいログコールバックをインスタンス化し、Trainer オブジェクトを渡す
evals_callback = WandbEvalsCallback(trainer, tokenizer, ...)
# コールバックを Trainer に追加する
trainer.add_callback(evals_callback)
# Trainer のトレーニングを通常通り開始する
trainer.train()
```
#### トレーニング中に評価サンプルを確認する
次のセクションでは、`WandbCallback` をカスタマイズして、トレーニング中にモデルの予測を実行し、評価サンプルを W\&B の 表 にログする方法を示します。これは、Trainer の コールバック の `on_evaluate` method を使って、`eval_steps` ごとに実行します。
ここでは、トークナイザーを使用してモデル出力から予測とラベルをデコードする `decode_predictions` function を作成しています。
次に、予測とラベルから pandas DataFrame を作成し、DataFrame に `epoch` 列を追加します。
最後に、DataFrame から `wandb.Table` を作成し、それを wandb にログします。
また、`freq` エポックごとに予測をログすることで、ログする頻度を制御できます。
**注**: 通常の `WandbCallback` とは異なり、このカスタム コールバック は、`Trainer` の初期化時ではなく、`Trainer` をインスタンス化した**後**に trainer に追加する必要があります。
これは、初期化時に `Trainer` インスタンスが コールバック に渡されるためです。
```python theme={null}
from transformers.integrations import WandbCallback
import pandas as pd
def decode_predictions(tokenizer, predictions):
labels = tokenizer.batch_decode(predictions.label_ids)
logits = predictions.predictions.argmax(axis=-1)
prediction_text = tokenizer.batch_decode(logits)
return {"labels": labels, "predictions": prediction_text}
class WandbPredictionProgressCallback(WandbCallback):
"""トレーニング中にモデルの予測をログするカスタム WandbCallback。
このコールバックは、トレーニング中の各ログステップで、モデルの予測とラベルを
wandb.Table にログします。トレーニングの進行に伴い、モデルの予測を
可視化することができます。
Attributes:
trainer (Trainer): Hugging Face の Trainer インスタンス。
tokenizer (AutoTokenizer): モデルに関連付けられたトークナイザー。
sample_dataset (Dataset): 予測生成に使用する検証データセットのサブセット。
num_samples (int, optional): 予測生成のために検証データセットから
選択するサンプル数。デフォルトは 100。
freq (int, optional): ログの頻度。デフォルトは 2。
"""
def __init__(self, trainer, tokenizer, val_dataset, num_samples=100, freq=2):
"""WandbPredictionProgressCallback インスタンスを初期化します。
Args:
trainer (Trainer): Hugging Face の Trainer インスタンス。
tokenizer (AutoTokenizer): モデルに関連付けられた
トークナイザー。
val_dataset (Dataset): 検証データセット。
num_samples (int, optional): 予測生成のために検証データセットから
選択するサンプル数。
デフォルトは 100。
freq (int, optional): ログの頻度。デフォルトは 2。
"""
super().__init__()
self.trainer = trainer
self.tokenizer = tokenizer
self.sample_dataset = val_dataset.select(range(num_samples))
self.freq = freq
def on_evaluate(self, args, state, control, **kwargs):
super().on_evaluate(args, state, control, **kwargs)
# `freq` エポックごとに予測をログすることで、ログの頻度を制御する
if state.epoch % self.freq == 0:
# 予測を生成する
predictions = self.trainer.predict(self.sample_dataset)
# 予測とラベルをデコードする
predictions = decode_predictions(self.tokenizer, predictions)
# 予測を wandb.Table に追加する
predictions_df = pd.DataFrame(predictions)
predictions_df["epoch"] = state.epoch
records_table = self._wandb.Table(dataframe=predictions_df)
# テーブルを wandb にログする
self._wandb.log({"sample_predictions": records_table})
# まず、Trainer をインスタンス化する
trainer = Trainer(
model=model,
args=training_args,
train_dataset=lm_datasets["train"],
eval_dataset=lm_datasets["validation"],
)
# WandbPredictionProgressCallback をインスタンス化する
progress_callback = WandbPredictionProgressCallback(
trainer=trainer,
tokenizer=tokenizer,
val_dataset=lm_dataset["validation"],
num_samples=10,
freq=2,
)
# コールバックを trainer に追加する
trainer.add_callback(progress_callback)
```
より詳しい例については、この[colab](https://colab.research.google.com/github/wandb/examples/blob/master/colabs/huggingface/Custom_Progress_Callback.ipynb)を参照してください
### 利用可能な追加の W\&B 設定は何ですか？
環境変数を設定することで、`Trainer` でログする内容をさらに細かく設定できます。W\&B の環境変数の一覧は、[こちら](/ja/platform/hosting/env-vars)で確認できます。
| 環境変数 | 用途 |
| ----------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `WANDB_PROJECT` | プロジェクトに名前を付けます (デフォルトは `huggingface`) |
| `WANDB_LOG_MODEL` | モデル チェックポイントを W\&B Artifact としてログします (デフォルトは `false`)
false(デフォルト) : モデル チェックポイントは保存しませんcheckpoint: args.save\_steps ごとにチェックポイントがアップロードされます (Trainer の TrainingArguments で設定) 。end: トレーニングの終了時に最終モデル チェックポイントがアップロードされます。
モデルの gradient、parameter、またはそのどちらもログしないかを設定します
false(デフォルト) : gradient や parameter はログしませんgradients: gradient のヒストグラムをログしますall: gradient と parameter のヒストグラムをログします
### `wandb.init()` をカスタマイズするにはどうすればよいですか？
`Trainer` が使用する `WandbCallback` は、`Trainer` の初期化時に内部で `wandb.init()` を呼び出します。代わりに、`Trainer` が初期化される前に `wandb.init()` を呼び出して、run を手動で設定することもできます。これにより、W\&B の run 設定を完全に制御できます。
`init` に渡す内容の例を以下に示します。`wandb.init()` の詳細については、[`wandb.init()` reference](/ja/models/ref/python/functions/init)を参照してください。
```python theme={null}
wandb.init(
project="amazon_sentiment_analysis",
name="bert-base-high-lr",
tags=["baseline", "high-lr"],
group="bert",
)
```
## 追加リソース
以下は、Transformers と W\&B に関連するおすすめの 6 本の記事です
Hugging Face Transformers のハイパーパラメーター最適化
* Hugging Face Transformers のハイパーパラメーター最適化について、3 つの戦略を比較しています。グリッドサーチ、Bayesian Optimization、Population Based Training です。 * Hugging Face transformers の標準的な uncased BERT モデルを使用し、SuperGLUE ベンチマークの RTE データセットでファインチューニングを行います。 * 結果から、Hugging Face transformer モデルのハイパーパラメーター最適化には Population Based Training が最も効果的なアプローチであることがわかります。 [Hugging Face Transformers のハイパーパラメーター最適化レポート](https://wandb.ai/amogkam/transformers/reports/Hyperparameter-Optimization-for-Hugging-Face-Transformers--VmlldzoyMTc2ODI)をお読みください。Hugging Tweets: ツイートを生成するモデルをトレーニングする
* この記事では、事前トレーニング済みの GPT2 Hugging Face Transformer モデルを、任意のユーザーのツイートで 5 分以内にファインチューニングする方法を紹介しています。 * このモデルでは、次のパイプラインを使用します: ツイートのダウンロード、データセットの最適化、初期実験、ユーザー間の損失の比較、モデルのファインチューニング。 完全版のレポートは[こちら](https://wandb.ai/wandb/huggingtweets/reports/HuggingTweets-Train-a-Model-to-Generate-Tweets--VmlldzoxMTY5MjI)をご覧ください。Hugging Face BERT と WB による文分類
* この記事では、自然言語処理における近年の飛躍的進歩を活用し、NLP への転移学習の応用に焦点を当てながら、文分類器を構築します。 * 単一文の分類には The Corpus of Linguistic Acceptability (CoLA) データセットを使用します。これは、文法的に正しいか誤っているかのラベルが付いた文の集合で、2018 年 5 月に初めて公開されました。 * Google の BERT を使用して、幅広い NLP タスクに対して最小限の労力で高性能なモデルを作成します。 完全版のレポートは[こちら](https://wandb.ai/cayush/bert-finetuning/reports/Sentence-Classification-With-Huggingface-BERT-and-W-B--Vmlldzo4MDMwNA)をご覧ください。Hugging Face モデル性能をトラッキングするための step ごとのガイド
* W\&B と Hugging Face transformers を使用して、BERT より 40% 小さい一方で BERT の精度の 97% を維持する Transformer である DistilBERT を、GLUE ベンチマークでトレーニングします。 * GLUE ベンチマークは、NLP モデルのトレーニング用の 9 つのデータセットとタスクで構成されるコレクションです。 完全版のレポートは[こちら](https://wandb.ai/jxmorris12/huggingface-demo/reports/A-Step-by-Step-Guide-to-Tracking-HuggingFace-Model-Performance--VmlldzoxMDE2MTU)をご覧ください。HuggingFace における Early Stopping の例
* Early Stopping 正則化を使用した Hugging Face Transformer のファインチューニングは、PyTorch または TensorFlow でネイティブに実行できます。 * TensorFlow では、`tf.keras.callbacks.EarlyStopping` コールバック を使って簡単に Early Stopping を利用できます。 * PyTorch にはそのまま使える early stopping method はありませんが、GitHub Gist で動作する early stopping hook が公開されています。 完全版のレポートは[こちら](https://wandb.ai/ayush-thakur/huggingface/reports/Early-Stopping-in-HuggingFace-Examples--Vmlldzo0MzE2MTM)をご覧ください。カスタムデータセットで Hugging Face Transformers をファインチューニングする方法
カスタム IMDB データセットで、感情分析 (2 値分類) のために DistilBERT transformer をファインチューニングします。 完全版のレポートは[こちら](https://wandb.ai/ayush-thakur/huggingface/reports/How-to-Fine-Tune-HuggingFace-Transformers-on-a-Custom-Dataset--Vmlldzo0MzQ2MDc)をご覧ください。
## サポートを受ける、または機能を要望する
Hugging Face W\&B インテグレーションに関する問題、質問、または機能要望がある場合は、[Hugging Face フォーラムのこのスレッド](https://discuss.huggingface.co/t/logging-experiment-tracking-with-w-b/498)にお気軽に投稿するか、Hugging Face の[Transformers GitHub リポジトリ](https://github.com/huggingface/transformers)で issue を登録してください。