Измените один документ — и AI-помощник для программирования может быть использован для внедрения вредоносного кода: сообщается, что Wu Enda Context Hub прошёл всю цепочку без проверки

По данным мониторинга 1M AI News, сервис документации по AI программированию Context Hub, запущенный два недели назад основателем DeepLearning.AI и兼职-профессором Стэнфордского университета Эндрю Ын, был обнаружен специалистами по безопасности как потенциальная угроза цепочки поставок. Context Hub предоставляет API-документацию через сервер MCP для программных агентов, а участники вносят изменения через PR на GitHub, которые после слияния мейнтейнерами доступны агентам по мере необходимости. Создатель альтернативного сервиса lap.sh Mickey Shmueli опубликовал демонстрацию атаки (PoC), указав, что в этой цепочке «отсутствует проверка содержимого на каждом этапе».

Shmueli создал две поддельные документации для Plaid Link и Stripe Checkout, в каждую из которых вставил поддельный пакет PyPI, протестировав три модели Anthropic на 40 попытках каждая:

1. Haiku — каждый раз добавлял вредоносный пакет в requirements.txt, при этом в выводе не появлялось предупреждений
2. Sonnet — в 48% (19 из 40) случаев выдавал предупреждение, но всё равно добавлял вредоносные зависимости в 53% (21 из 40) случаев
3. Opus — показал лучшие результаты: предупреждение в 75% (30 из 40) случаев, вредоносные зависимости не добавлялись в код

Атакующий мог просто отправить PR, который после слияния приводил к заражению, поскольку порог проверки низкий: из 97 закрытых PR 58 были слиты. Shmueli отметил, что по сути это разновидность косвенного внедрения подсказок, поскольку модели ИИ при обработке контента не могут надежно отличить данные от команд, а другие сообщества по документации также сталкиваются с недостатками в проверке содержимого. Эндрю Ын не дал комментариев по запросу.