카카오클라우드의 AI Insight는 GPU 리소스의 상태와 주요 메트릭을 클러스터, 노드, GPU 단위로 확인할 수 있는 GPU 관제 서비스입니다.
사용자는 전체 GPU 현황을 한눈에 파악하고, 이상 징후가 있는 GPU를 빠르게 식별한 뒤 상세 화면에서 원인을 분석할 수 있습니다.
AI Insight는 GPU 사용률, GPU 메모리 사용률, 온도, 유휴율, ECC Error, XID Event Code, Throttling 등 GPU 운영에 필요한 지표를 제공합니다.
Kubernetes Engine(KE) 기반 GPU 노드와 Virtual Machine(VM) 기반 GPU 노드를 모두 확인할 수 있으며,
MIG가 구성된 환경에서는 MIG 인스턴스 단위의 상태도 함께 확인할 수 있습니다.
안내사항!
AI Insight에서 메트릭을 확인하려면 대상 환경에 Metric Exporter 또는 모니터링 에이전트가 설치되어 있어야 합니다.
설치되어 있지 않거나 정상적으로 동작하지 않으면 해당 리소스가 Agent Missing 상태로 표시되고, GPU 메트릭이 수집되지 않을 수 있습니다.
자세한 내용은 관련문서를 참고해 주세요.