- run이 실패하면(이벤트), Slack 채널에 알림을 보냅니다(액션).
- 아티팩트에
production별칭이 추가되면(이벤트), 웹훅을 호출해 배포를 트리거합니다(액션).
production 추가(이벤트) 후 웹훅(액션).
Automations를 생성할 수 있는 위치
- 프로젝트에서: 프로젝트를 연 다음, 프로젝트 사이드바에서 Automations 탭을 선택하세요.
- 레지스트리에서: 레지스트리를 연 다음, Automations 탭을 선택하세요.
사용 사례
- run 모니터링 및 알림: run이 실패하거나 메트릭이 임곗값을 넘을 때(예: loss가 NaN이 되거나 정확도가 떨어질 때) 팀에 알림을 보냅니다.
- 레지스트리 CI/CD: 새 모델 버전이 연결되거나 별칭(예:
staging또는production)이 추가되면, 테스트를 실행하거나 배포하도록 웹훅을 트리거합니다. - 프로젝트 아티팩트 워크플로: 새 아티팩트 버전이 생성되거나 프로젝트에 별칭이 추가되면, 후속 작업을 실행하거나 Slack에 게시합니다.
자동화 작업
- Slack 알림: 트리거된 이벤트의 세부 정보를 담은 메시지를 Slack 채널로 보냅니다. 메시지에는 이벤트 요약과 W&B에서 자세한 내용을 볼 수 있는 링크가 포함됩니다.
- 웹훅: 트리거된 이벤트 정보가 포함된 JSON 페이로드와 함께 웹훅 URL을 호출합니다. 웹훅을 사용하여 CI/CD 파이프라인, 모델 배포 서비스, 맞춤형 워크플로와 같은 외부 시스템과 통합하세요.
Automations의 작동 방식
- 필요한 경우 액세스 토큰, 비밀번호, 민감한 설정 세부 정보 등 자동화에 필요한 민감한 문자열에 대해 시크릿를 설정합니다. 시크릿은 Team Settings에 정의되어 있습니다. 시크릿은 웹훅 Automations에서 자격 증명이나 토큰을 평문으로 노출하거나 웹훅 페이로드에 하드코딩하지 않고 웹훅의 외부 서비스로 안전하게 전달하는 데 가장 자주 사용됩니다.
- 팀 수준의 웹훅 또는 Slack 인테그레이션을 설정하여 W&B가 사용자를 대신해 Slack에 게시하거나 웹훅을 실행할 수 있도록 승인합니다. 단일 자동화 작업(웹훅 또는 Slack 알림)은 여러 Automations에서 사용할 수 있습니다. 이러한 작업은 Team Settings에 정의되어 있습니다.
- 프로젝트 또는 레지스트리에서 자동화를 생성합니다.
- 새 아티팩트 버전이 추가될 때와 같이 모니터링할 이벤트를 정의합니다.
- 이벤트가 발생할 때 수행할 작업(Slack 채널에 게시하거나 웹훅 실행)을 정의합니다. 웹훅의 경우 필요하다면 액세스 토큰에 사용할 시크릿 및/또는 페이로드와 함께 전송할 시크릿을 지정합니다.
권장 사항
- 작게 시작하세요: 가치가 높은 이벤트(예: run 실패 또는 프로덕션 별칭 변경)를 대상으로 자동화 한두 개부터 시작하세요. 더 추가하기 전에 예상대로 작동하는지 확인하세요.
- 프로덕션에 적용하기 전에 테스트하세요: 먼저 테스트 프로젝트 또는 테스트 웹훅이나 Slack 채널에서 자동화를 만드세요. 이벤트를 수동으로 트리거한 다음, 액션이 실행되고 페이로드 또는 메시지가 올바르게 표시되는지 확인하세요.
- 알림 피로를 방지하세요: run 필터, 메트릭 임곗값 또는 별칭 패턴을 사용해 자동화가 트리거되는 빈도를 제한하세요. 심각도 수준이 여러 개라면 각각 다른 채널로 보내세요.
제한 사항
다음 단계
- Automations 튜토리얼: run 실패 시 알림을 보내는 프로젝트 자동화와 별칭이 추가될 때 웹훅을 실행하는 레지스트리 자동화를 만드는 방법을 안내합니다. 이 튜토리얼에서는 W&B App을 사용합니다.
- 자동화를 생성.
- 자동화 이벤트 및 범위.
- 시크릿 생성.
Automations와 함께 볼 수 있는 튜토리얼을 찾고 계신가요?