Los chips de IA pueden fallar en silencio y Amazon muestra cómo cazarlos

Un fallo de hardware puede devolver un número erróneo sin dar ningún error, y el entrenamiento sigue como si nada durante horas. Amazon propone tres comprobaciones en el propio código de entrenamiento para localizar al chip culpable y sustituir su nodo.

Los chips de IA pueden fallar en silencio y Amazon muestra cómo cazarlos

Una GPU puede devolver un número incorrecto pero plausible y no lanzar ningún error. Los ingenieros lo llaman corrupción silenciosa de datos (SDC, por sus siglas en inglés), y Amazon explica cómo detectarla y recuperarse en sus servidores de entrenamiento SageMaker HyperPod. En el entrenamiento distribuido, ese número erróneo entra en los gradientes y en los pesos de todas las copias del modelo. La pérdida, la medida de error que usa el modelo para aprender, puede parecer normal durante horas. Cuando el equipo nota una divergencia sin explicación o un modelo más débil, el cómputo ya está gastado.

El problema aparece a gran escala. Amazon recuerda que Meta, durante 54 días de entrenamiento de Llama 3 405B con hasta 16.000 GPU H100, atribuyó 6 de 419 interrupciones inesperadas del trabajo a este fenómeno. Y eran solo los casos que sí interrumpieron el proceso y pudieron rastrearse hasta la corrupción.

Por qué los sistemas actuales no lo ven

HyperPod ya sustituye los nodos que reportan un fallo. Un agente vigila los errores de la GPU, unas pruebas de salud exigen a los nodos al límite y la recuperación automática cambia el hardware averiado. Pero la corrupción silenciosa se escapa de todo eso, porque el chip nunca avisa de nada. La detección tiene que salir del propio trabajo de entrenamiento.

La causa suele ser un defecto de fabricación o el desgaste de una unidad concreta, casi siempre una de las que multiplican y suman dentro de los núcleos tensoriales, justo lo que más usa el entrenamiento. Ese circuito calcula bien la mayor parte del tiempo y solo falla bajo estrés: temperatura alta, caídas de tensión o determinados patrones de datos. La memoria cuenta con códigos de corrección de errores, pero la ruta aritmética no, así que un 4,0001 en lugar de 4,0000 pasa inadvertido.

Por eso Amazon defiende que la forma de cazar este fallo es comprobar el resultado del propio cálculo, no solo que la máquina siga funcionando.

Tres comprobaciones en el código de entrenamiento

El método se apoya en el entrenamiento en paralelo de datos: varias copias del modelo, llamadas réplicas, estudian a la vez distintos trozos del lote. Tras cada paso, todas promedian sus gradientes, es decir, los cálculos que indican cómo corregir el modelo, y aplican ese mismo promedio. Después de la actualización, los pesos deben ser idénticos, bit a bit.

Dónde cae el fallo decide quién lo ve. Si una réplica calcula un gradiente de 4,00 en lugar de 0,40, el promedio reparte el error entre todas: aplican la misma actualización equivocada y sus pesos siguen coincidiendo. Solo el gradiente local de esa réplica parecía distinto, y únicamente antes del promedio. Un error en los pesos después de la actualización sí rompe la coincidencia. Un valor no numérico (NaN) o infinito (Inf) en una réplica llega a todas en el siguiente promedio, así que también hay que vigilarlo antes.

Amazon propone, por tanto, tres comprobaciones en cada paso:

  • Comprobación de gradientes no finitos: antes del promedio, marca cualquier réplica cuyo gradiente tenga NaN o Inf, y revisa también el resultado final.
  • Auditoría de repetición en anillo: en pasos de control, cada GPU recalcula un micro-lote de un nodo distinto y compara la pérdida bit a bit y los gradientes mediante huellas digitales.
  • Comparación de huellas de pesos: tras la actualización, compara los pesos de todas las réplicas, lo que detecta fallos en el paso de optimización y en los pesos guardados.

Las huellas son sumas de 64 bits de los patrones de bits de cada tensor, una simple y otra ponderada por posición, para no tener que enviar tensores enteros entre chips. Cualquier cambio en uno o dos elementos altera la suma.

Por qué no bastaba con comparar normas

Amazon probó primero otra idea: marcar las réplicas cuyo gradiente local se aleja demasiado de la mediana del paso. La descartó. En tres ejecuciones sin fallos, con 4 instancias y 32 H100 entrenando un modelo de 953 millones de parámetros, los datos sanos ya se separaban demasiado: hasta 224 desviaciones en los primeros 800 pasos y 1.240 en total. Con un umbral que evitara falsas alarmas, saltaron 11 alarmas en 22.000 pasos sanos, y la puntuación de la réplica con fallo nunca pasó de 6,9, aunque una activación se multiplicó por 10.000.

Del aviso a la sustitución del nodo

Cuando salta una alarma, el siguiente paso es localizarla. En clústeres de HyperPod orquestados con Amazon EKS, el nombre del nodo de Kubernetes contiene el identificador de la instancia, así que pasar de la réplica sospechosa a la máquina es una búsqueda directa. Después hay que parar el trabajo, aislar el nodo para que no reciba más tareas y revisar sus métricas de GPU en los paneles de observabilidad de HyperPod.

Si la alarma es ambigua, conviene confirmarla antes de sustituir el nodo. Después, el entrenamiento se reanuda desde un punto de control guardado antes de la ventana sospechosa. Amazon recomienda guardar esos puntos en almacenamiento compartido, como Amazon FSx for Lustre o Amazon S3, porque sustituir un nodo borra sus volúmenes locales, incluido el disco NVMe.

Para aplicarlo hacen falta un clúster de HyperPod con Amazon EKS y al menos tres nodos con GPU. La auditoría necesita tres nodos distintos para cada comparación, y la de pesos, tres copias de cada peso para identificar a la impar. También un trabajo PyTorch con datos reproducibles, permisos de IAM para lanzar comprobaciones y reemplazar nodos. Amazon publica el código completo en un repositorio de GitHub.

Importa porque entrenar un modelo cuesta millones de horas de cálculo, y un chip que se equivoca en silencio puede gastar parte de ellas sin que nadie lo note. Las pruebas de Amazon usaron fallos inyectados por software, así que todavía queda ver cómo se comportan estas comprobaciones en un clúster con fallos reales.

Newsletter · gratis

La semana de la IA, en cinco minutos.

Únete a los lectores que empiezan la semana sabiendo qué pasa en la IA. Cada domingo, en tu correo.