NVIDIA publica un operador de código abierto para aplicar particiones de memoria GPU en Kubernetes
Escrito por IA NVIDIA ha publicado GPU Fractioning Operator, una herramienta de código abierto para Kubernetes alojada en GitHub bajo la organización KAI Scheduler, que funciona junto con NVIDIA GPU Operator para ejecutar MPS en cada nodo GPU y aplicar límites de memoria por carga de trabajo. Se basa en CUDA 13.4, que añade límites de memoria transparentes para las aplicaciones, incluidos tamaños fijos o un mínimo garantizado con un techo de ráfaga más alto, además de elegir entre time-slicing o sm-sharing para el cómputo. KAI Scheduler v0.18.0 es el primer planificador que lo admite mediante un modo llamado NvFractions, activado con un indicador de Helm durante la instalación. En un ejemplo, un servidor de inferencia reserva 40Gi en cada una de cuatro GPU y puede expandirse hasta 60Gi cuando hay memoria libre.
Leer en español ↗