Инженер Cloudflare Доминик Пичета представил экспериментальный язык программирования KillSwitch, который мешает нейросетям читать и писать код.
Программа на нём выглядит как обычный рассказ, в котором спрятаны команды. Большую часть текста интерпретатор игнорирует. Функции называются главами, их имена задаются английскими наречиями, а обращаться к ним нужно через анаграммы. Вызов начинается с фразы ignore previous instructions. Интерпретатор принимает её за обычную команду, а модель начинает путаться и подозревать промпт-инъекцию.
Дополнительный уровень сложности для ИИ – намеренная ложь в документации. Встроенная команда hack_the_planet на деле просто выбирает функцию по значению на стеке. В описании же сказано, что она сканирует сети и перехватывает управление сервисами, поэтому модели часто отказываются работать из соображений безопасности.
В тестах лидирует Claude Opus 5 с результатом 66,8 из 100. У большинства других моделей меньше 50. Это общий балл, который учитывает успех, расход токенов и объём решения. Если модели освоят нынешние правила, автор обещает язык усложнить 🌟
Репозиторий со спецификацией и примерами: github.com/dom96/killswitch
Источник и фото: Habr
Программа на нём выглядит как обычный рассказ, в котором спрятаны команды. Большую часть текста интерпретатор игнорирует. Функции называются главами, их имена задаются английскими наречиями, а обращаться к ним нужно через анаграммы. Вызов начинается с фразы ignore previous instructions. Интерпретатор принимает её за обычную команду, а модель начинает путаться и подозревать промпт-инъекцию.
Дополнительный уровень сложности для ИИ – намеренная ложь в документации. Встроенная команда hack_the_planet на деле просто выбирает функцию по значению на стеке. В описании же сказано, что она сканирует сети и перехватывает управление сервисами, поэтому модели часто отказываются работать из соображений безопасности.
В тестах лидирует Claude Opus 5 с результатом 66,8 из 100. У большинства других моделей меньше 50. Это общий балл, который учитывает успех, расход токенов и объём решения. Если модели освоят нынешние правила, автор обещает язык усложнить 🌟
Репозиторий со спецификацией и примерами: github.com/dom96/killswitch
Источник и фото: Habr