Con solo modificar una línea en el documento, se puede envenenar al asistente de programación AI: se revela que Wu En Da Context Hub no tiene revisión en toda la cadena

Según la monitorización de 1M AI News, el fundador de DeepLearning.AI y profesor adjunto en la Universidad de Stanford, Andrew Ng, lanzó hace dos semanas el servicio de documentación de programación AI Context Hub, que fue expuesto por investigadores de seguridad como vulnerable a ataques en la cadena de suministro. Context Hub proporciona documentación API a través del servidor MCP al agente de programación, los contribuyentes envían documentos mediante PR en GitHub, y los mantenedores los fusionan para que el agente los lea según sea necesario. Mickey Shmueli, creador del servicio alternativo lap.sh, publicó una prueba de concepto (PoC) de ataque, señalando que esta línea de producción “no tiene revisión de contenido en ninguna etapa”.

Shmueli creó dos documentos falsos dirigidos a Plaid Link y Stripe Checkout, cada uno con un paquete PyPI falso, probando con modelos de tres niveles de Anthropic 40 veces:

1. Haiku siempre añade paquetes maliciosos en requirements.txt, sin mostrar advertencias en la salida.
2. Sonnet emite advertencias en el 48% (19/40) de las pruebas, pero aún escribe dependencias maliciosas en el 53% (21/40).
3. Opus funciona mejor, emitiendo advertencias en el 75% (30/40) y sin incluir dependencias maliciosas en el código.

El atacante solo necesita enviar un PR que sea fusionado para completar el envenenamiento, con un umbral de revisión bajo: de 97 PR cerrados, 58 fueron fusionados. Shmueli señala que esto es esencialmente una variante de inyección de indicaciones indirectas, ya que los modelos de IA no pueden distinguir de manera confiable entre datos e instrucciones al procesar contenido, y otros servicios comunitarios de documentación también carecen de una revisión adecuada del contenido. Andrew Ng no ha respondido a las solicitudes de comentarios.