API overview

엔드포인트 및 인증을 포함한 Serverless Inference 서비스의 전체 REST API 레퍼런스를 탐색하세요.

이 레퍼런스에서는 Serverless Inference REST API를 설명합니다. 이 API를 사용하면 자체 애플리케이션에서 프로그래밍 방식으로 파운데이션 모델을 호출할 수 있습니다. 모델 인프라를 직접 관리하지 않고도 서비스, 스크립트 또는 노트북에 호스팅된 추론을 통합하는 데 사용하세요.

​

기본 URL

다음 URL에서 Inference 서비스에 액세스할 수 있습니다:

https://api.inference.wandb.ai/v1

​

사전 요구 사항

Inference API를 호출하려면 다음이 필요합니다:

• Inference 크레딧이 있는 W&B 계정
• 유효한 W&B API 키

둘 이상의 팀에 속해 있거나 사용량을 특정 프로젝트에 귀속하려는 경우에는 팀 ID와 프로젝트 ID도 필요합니다. 코드 샘플에서는 이러한 값이 [YOUR-TEAM]/[YOUR-PROJECT] 형식으로 표시됩니다. 이를 지정하지 않으면 W&B는 기본 entity와 inference 프로젝트 이름을 사용합니다.

​

사용 가능한 메서드

Inference API는 파운데이션 모델과 상호작용할 수 있는 OpenAI 호환 엔드포인트를 제공합니다. 다음 메서드를 사용할 수 있습니다:

• Chat Completions: 파운데이션 모델을 사용해 채팅 완성을 생성합니다.
• List Models: 사용 가능한 모든 모델와 해당 IDs를 조회합니다.

​

인증

모든 API 요청은 W&B API 키를 사용해 인증해야 합니다. wandb.ai/settings에서 API 키를 생성하세요.

요청 헤더에 API 키를 포함하세요:

• OpenAI SDK의 경우, api_key 파라미터를 설정하세요.
• API를 직접 호출하는 경우, Authorization: Bearer [YOUR-API-KEY]를 사용하세요.

​

오류 처리

전체 오류 코드 목록과 해결 방법은 API 오류를 참조하세요.

​

다음 단계

API 키를 받았다면, 다음 중 하나를 계속 진행하세요:

• API가 어떻게 작동하는지 확인하려면 사용 예시를 사용해 보세요.
• Inference UI에서 모델을 탐색하세요.
• 계정의 사용 제한을 확인하세요.