UI 가이드

웹 인터페이스를 통해 Serverless Inference 모델에 액세스하세요

웹 UI를 통해 Serverless Inference 서비스를 사용하는 방법을 알아보세요. 이 가이드에서는 서비스에 액세스하는 방법, 플레이그라운드에서 모델을 사용해 보는 방법, 모델을 나란히 비교하는 방법, 그리고 결제 및 사용량을 모니터링하는 방법을 설명합니다. 코드를 작성하지 않고도 모델을 대화형으로 실험하려면 UI를 사용하세요.

UI를 사용하기 전에 사전 요구 사항을 완료하세요.

​

Inference service에 액세스하기

다음 섹션에서는 Inference service에 액세스하는 세 가지 방법을 설명합니다. 현재 워크플로에 가장 잘 맞는 방법을 선택하세요.

​

직접 링크

https://wandb.ai/inference로 이동합니다.

​

Inference 탭에서

1. https://wandb.ai/에서 W&B 계정에 접속합니다.
2. 프로젝트 사이드바에서 Inference를 선택합니다. 사용 가능한 모델과 모델 정보가 표시된 페이지가 열립니다.

​

플레이그라운드 탭에서

1. 프로젝트 사이드바에서 플레이그라운드를 선택합니다. 플레이그라운드 채팅 UI가 나타납니다.
2. LLM 드롭다운 목록에서 Serverless Inference 위에 마우스를 올립니다. 오른쪽에 사용 가능한 모델이 포함된 드롭다운이 나타납니다.
3. 모델 드롭다운에서 다음 작업을 할 수 있습니다:
   • 모델 이름을 클릭해 플레이그라운드에서 사용해 볼 수 있습니다.
   • 여러 모델 비교

​

플레이그라운드에서 모델 사용해 보기

모델을 선택한 후, 다른 곳에 통합하기 전에 플레이그라운드에서 해당 모델의 응답을 평가하고 동작을 조정해 볼 수 있습니다. 다음 작업을 수행할 수 있습니다:

• 모델 설정 및 매개변수 사용자 지정하기.
• 메시지 추가, 재시도, 편집 및 삭제.
• 사용자 지정 설정으로 모델 저장 및 재사용.
• 여러 모델 비교.

​

여러 모델 비교

플레이그라운드에서 Inference 모델을 나란히 비교하여 동일한 프롬프트에 대한 품질, 지연 시간, 출력 스타일을 평가할 수 있습니다. 다음 섹션에 설명된 두 곳에서 Compare 뷰로 이동할 수 있습니다.

​

Inference 탭에서

1. 프로젝트 사이드바에서 Inference를 선택합니다. 사용 가능한 모델 페이지가 나타납니다.
2. 모델 Card에서 모델 이름을 제외한 아무 곳이나 클릭해 선택합니다. 선택되었음을 나타내도록 Card가 강조 표시됩니다.
3. 비교하려는 각 모델에 대해 이 작업을 반복합니다.
4. 선택한 Card에서 Compare [N] models in the Playground를 클릭합니다. 여기서 [N]은 선택한 모델 수를 나타냅니다. 비교 뷰가 열립니다.

이제 모델을 비교하고 플레이그라운드에서 모델 사용해 보기의 모든 기능을 사용할 수 있습니다.

​

플레이그라운드 탭에서

1. 프로젝트 사이드바에서 플레이그라운드를 선택하세요. 플레이그라운드 채팅 UI가 나타납니다.
2. LLM 드롭다운 목록에서 Serverless Inference에 마우스를 올리세요. 오른쪽에 모델 드롭다운이 나타납니다.
3. 드롭다운에서 Compare를 선택하세요. Inference 탭이 나타납니다.
4. 모델 이름을 제외한 모델 Card의 아무 곳이나 클릭해 선택하세요. 선택된 Card는 강조 표시됩니다.
5. 비교하려는 각 모델에 대해 이 과정을 반복하세요.
6. 선택한 아무 Card에서나 Compare [N] models in the 플레이그라운드를 클릭하세요. 비교 뷰가 열립니다.

이제 모델을 비교하고 플레이그라운드에서 모델 사용해 보기의 모든 기능을 사용할 수 있습니다.

​

결제 및 사용량 정보 보기

조직 관리자는 W&B UI에서 크레딧 잔액, 사용 이력, 예정된 청구 내역을 확인할 수 있습니다. 이 뷰를 사용해 지출을 모니터링하고 예정된 요금을 예측하세요.

1. UI에서 W&B Billing 페이지로 이동합니다.
2. Inference 결제 정보 Card를 찾습니다.
3. 여기에서 다음 작업을 할 수 있습니다:
   • View usage를 클릭해 시간에 따른 사용량을 확인합니다.
   • 예정된 Inference 요금을 확인합니다(유료 플랜의 경우).

모델별 가격 세부 정보는 Inference 가격 페이지에서 확인하세요.

​

다음 단계

• 요구 사항에 가장 적합한 모델을 찾으려면 사용 가능한 모델을 검토하세요.
• 프로그래밍 방식으로 액세스하려면 API를 사용해 보세요.
• 코드 샘플은 사용 예시를 참조하세요.