> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-docs-sandboxes-integrations-placement.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# Hugging Face
> W&B를 사용해 Hugging Face 모델 성능을 시각화하고 추적하세요. 하이퍼파라미터, 메트릭, GPU 사용량도 로깅할 수 있습니다.
export const ColabLink = ({url}) =>
Colab에서 사용해 보기
;
원활한 [W\&B](https://wandb.ai/site) 인테그레이션을 통해 [Hugging Face](https://github.com/huggingface/transformers) 모델의 성능을 빠르게 시각화하세요.
하이퍼파라미터, 출력 메트릭, GPU 사용량 등의 시스템 지표를 여러 모델 간에 비교하세요.
## 왜 W\&B를 사용해야 하나요?
* **통합 대시보드**: 모든 모델 메트릭과 예측을 한곳에 모아 관리하는 중앙 저장소
* **경량**: Hugging Face와 인테그레이션할 때 코드 변경이 필요 없음
* **높은 접근성**: 개인 및 학술 팀에 무료 제공
* **보안성**: 모든 프로젝트는 기본적으로 비공개
* **신뢰성**: OpenAI, Toyota, Lyft 등 여러 머신러닝 팀이 사용하고 있음
W\&B를 머신러닝 모델용 GitHub라고 생각해 보세요. 모든 머신러닝 실험을 비공개로 호스팅되는 대시보드에 저장할 수 있습니다. 스크립트를 어디에서 실행하든, 모든 모델 버전이 저장된다는 확신을 가지고 빠르게 실험할 수 있습니다.
W\&B의 경량 인테그레이션은 모든 Python 스크립트와 함께 동작하며, 무료 W\&B 계정에 가입하기만 하면 모델을 추적하고 시각화하기 시작할 수 있습니다.
Hugging Face Transformers 레포지토리에서는 `Trainer`를 설정하여, 각 로깅 단계마다 트레이닝 및 평가 메트릭을 W\&B에 자동으로 로깅하도록 해두었습니다.
인테그레이션이 어떻게 동작하는지 자세한 내용은 여기에서 확인하세요: [Hugging Face + W\&B Report](https://app.wandb.ai/jxmorris12/huggingface-demo/reports/Train-a-model-with-Hugging-Face-and-Weights-%26-Biases--VmlldzoxMDE2MTU).
## 설치, 임포트 및 로그인
이 튜토리얼을 위해 Hugging Face와 W\&B 라이브러리, 그리고 GLUE 데이터셋과 트레이닝 스크립트를 설치합니다.
* [Hugging Face Transformers](https://github.com/huggingface/transformers): 자연어 처리용 모델과 데이터셋
* [W\&B](/ko/): 실험 추적 및 시각화
* [GLUE dataset](https://gluebenchmark.com/): 자연어 이해 벤치마크 데이터셋
* [GLUE script](https://raw.githubusercontent.com/huggingface/transformers/refs/heads/main/examples/pytorch/text-classification/run_glue.py): 시퀀스 분류용 모델 트레이닝 스크립트
```notebook theme={null}
!pip install datasets wandb evaluate accelerate -qU
!wget https://raw.githubusercontent.com/huggingface/transformers/refs/heads/main/examples/pytorch/text-classification/run_glue.py
```
```notebook theme={null}
# run_glue.py 스크립트는 transformers dev 버전이 필요합니다
!pip install -q git+https://github.com/huggingface/transformers
```
계속하기 전에 [무료 계정에 가입하세요](https://app.wandb.ai/login?signup=true).
## API 키 입력하기
가입을 마쳤다면, 다음 셀을 실행한 뒤 링크를 클릭해서 API 키를 확인하고 이 노트북을 인증하세요.
```python theme={null}
import wandb
wandb.login()
```
원하는 경우 환경 변수를 설정해 W\&B 로깅을 사용자 지정할 수 있습니다. [Hugging Face 인테그레이션 가이드](/ko/models/integrations/huggingface/)를 참고하세요.
```python theme={null}
# 선택 사항: 그래디언트와 파라미터 모두 기록
%env WANDB_WATCH=all
```
## 모델 학습
다음으로, 다운로드한 트레이닝 스크립트 [run\_glue.py](https://huggingface.co/transformers/examples.html#glue)를 실행하면 학습 과정이 자동으로 W\&B 대시보드에 기록되는 것을 확인할 수 있습니다. 이 스크립트는 BERT를 Microsoft Research Paraphrase Corpus(두 문장이 의미적으로 동등한지 여부를 사람이 주석으로 표시해 둔 문장 쌍 데이터셋)로 파인튜닝합니다.
```python theme={null}
%env WANDB_PROJECT=huggingface-demo
%env TASK_NAME=MRPC
!python run_glue.py \
--model_name_or_path bert-base-uncased \
--task_name $TASK_NAME \
--do_train \
--do_eval \
--max_seq_length 256 \
--per_device_train_batch_size 32 \
--learning_rate 2e-4 \
--num_train_epochs 3 \
--output_dir /tmp/$TASK_NAME/ \
--overwrite_output_dir \
--logging_steps 50
```
## 대시보드에서 결과 시각화하기
위에 출력된 링크를 클릭하거나 [wandb.ai](https://app.wandb.ai)로 이동해 실시간으로 스트리밍되는 결과를 확인하세요. 브라우저에서 run을 확인할 수 있는 링크는 모든 의존성이 로드된 다음에 표시됩니다. 다음과 같은 출력을 찾으세요: "**wandb**: View run at \[URL to your unique run]"
**모델 성능 시각화**
수십 개의 실험을 한눈에 비교하고, 흥미로운 결과를 확대해서 살펴보며, 고차원 데이터를 쉽게 시각화할 수 있습니다.
**아키텍처 비교**
다음은 [BERT vs DistilBERT](https://app.wandb.ai/jack-morris/david-vs-goliath/reports/Does-model-size-matter%3F-Comparing-BERT-and-DistilBERT-using-Sweeps--VmlldzoxMDUxNzU)를 비교한 예시입니다. 자동 선 그래프 시각화를 통해 서로 다른 아키텍처가 트레이닝 전반에 걸쳐 평가 정확도에 어떤 영향을 미치는지 쉽게 확인할 수 있습니다.
## 기본값으로 핵심 정보를 손쉽게 추적하기
W\&B는 각 실험마다 새로운 run을 저장합니다. 기본적으로 다음 정보가 자동으로 저장됩니다:
* **하이퍼파라미터**: 모델 설정이 Config에 저장됩니다
* **모델 메트릭**: 스트리밍되는 메트릭의 시계열 데이터가 Log에 저장됩니다
* **터미널 로그**: 커맨드 라인 출력이 저장되며 별도 탭에서 확인할 수 있습니다
* **시스템 메트릭**: GPU 및 CPU 사용량, 메모리, 온도 등
* **통합 대시보드**: 모든 모델 메트릭과 예측을 한곳에 모아 관리하는 중앙 저장소
* **경량**: Hugging Face와 인테그레이션할 때 코드 변경이 필요 없음
* **높은 접근성**: 개인 및 학술 팀에 무료 제공
* **보안성**: 모든 프로젝트는 기본적으로 비공개
* **신뢰성**: OpenAI, Toyota, Lyft 등 여러 머신러닝 팀이 사용하고 있음
W\&B를 머신러닝 모델용 GitHub라고 생각해 보세요. 모든 머신러닝 실험을 비공개로 호스팅되는 대시보드에 저장할 수 있습니다. 스크립트를 어디에서 실행하든, 모든 모델 버전이 저장된다는 확신을 가지고 빠르게 실험할 수 있습니다.
W\&B의 경량 인테그레이션은 모든 Python 스크립트와 함께 동작하며, 무료 W\&B 계정에 가입하기만 하면 모델을 추적하고 시각화하기 시작할 수 있습니다.
Hugging Face Transformers 레포지토리에서는 `Trainer`를 설정하여, 각 로깅 단계마다 트레이닝 및 평가 메트릭을 W\&B에 자동으로 로깅하도록 해두었습니다.
인테그레이션이 어떻게 동작하는지 자세한 내용은 여기에서 확인하세요: [Hugging Face + W\&B Report](https://app.wandb.ai/jxmorris12/huggingface-demo/reports/Train-a-model-with-Hugging-Face-and-Weights-%26-Biases--VmlldzoxMDE2MTU).
**아키텍처 비교**
다음은 [BERT vs DistilBERT](https://app.wandb.ai/jack-morris/david-vs-goliath/reports/Does-model-size-matter%3F-Comparing-BERT-and-DistilBERT-using-Sweeps--VmlldzoxMDUxNzU)를 비교한 예시입니다. 자동 선 그래프 시각화를 통해 서로 다른 아키텍처가 트레이닝 전반에 걸쳐 평가 정확도에 어떤 영향을 미치는지 쉽게 확인할 수 있습니다.
