Представете си атака, при която не е необходимо човек да натисне опасен линк, да отвори заразен файл или да бъде измамен от фалшив имейл.
AI generated image
Вместо него капанът прочита AI агентът.
След това самият агент изпълнява инструкциите.
Точно такъв нов проблем показва изследване на машинно четимите файлове llms.txt и llms-full.txt.
Тези файлове се появиха като начин сайтовете да предоставят информация във форма, удобна за големите езикови модели и AI агентите.
Идеята е проста.
Подобно на robots.txt, който дава инструкции на търсачките, llms.txt трябва да помогне на AI системите по-лесно да разберат съдържанието, документацията или начина на работа със сайта.
Само че AI агентът вече не е просто търсачка.
Той може да има терминал.
Може да инсталира софтуер.
Може да пише код.
Може да влиза в корпоративни системи.
И може да изпълнява инструкции, които намира в интернет.
Точно тук започва проблемът.
Изследователят по сигурността Алон Херц анализира хиляди сайтове и открива множество машинно четими файлове, съдържащи команди за инсталиране на софтуер.
Част от тях сочат към имена на пакети или други ресурси, които вече нямат собственик или изобщо не са регистрирани.
Това създава класически проблем от типа dependency confusion или package takeover, но с нов посредник — AI агента.
Представете си стара документация, която казва:
„Инсталирай пакет X.“
Пакет X вече не съществува.
Нападател регистрира същото име и публикува собствен код.
Човек може да забележи, че нещо изглежда подозрително.
Но агент, инструктиран да изпълни задачата автоматично, може просто да прочете командата, да намери пакета и да го инсталира.
Според публикуваните резултати са анализирани над 6200 домейна и са открити 8265 llms.txt и llms-full.txt файла. Част от тях съдържат препратки към нерегистрирани или несъществуващи ресурси.
Изследователят регистрира част от свободните имена и поставя безвреден код, който единствено сигнализира при достъп, за да провери дали някой действително ще последва инструкциите.
Не се налага да чака дълго.
В рамките на около час AI агент от компания във Fortune 500 достига до един от контролираните от изследователя ресурси.
При тестовете и наблюденията се появяват агенти и инструменти, свързани с Claude, Codex и Hermes.
Това не означава, че самите модели са „заразени“.
Проблемът е в доверието.
Когато дадем на AI агент правото едновременно да чете произволни инструкции от интернет и да изпълнява команди върху нашата машина или корпоративна инфраструктура, превръщаме външния текст в потенциална команда.
Това е фундаментално различно от начина, по който сме свикнали да използваме интернет.
Когато човек отвори документация, той я чете и решава какво да направи.
AI агентът може да прочете документацията, да вземе решение и да извърши действието — всичко това за секунди и без човекът да види всяка междинна стъпка.
Затова проблемът не се решава само с поправяне на llms.txt файловете.
Собствениците на сайтове действително трябва да проверяват машинно четимата си документация и да премахват стари, счупени и непроверени команди.
Но още по-важна е другата страна.
AI агентът не трябва да приема съдържанието от интернет като доверена инструкция само защото е написано във файл, предназначен за AI.
Особено когато инструкцията включва изтегляне на програма, инсталиране на пакет, изпълнение на shell команда или предоставяне на достъп.
За обикновения потребител правилото може да бъде още по-просто.
Не давайте на AI агент повече права, отколкото са му необходими.
Ако задачата е да прочете документация, няма причина той автоматично да получава право да инсталира програми.
Ако трябва да напише код, не е задължително да има свободен достъп до чувствителни файлове.
А ако ще изпълнява външна команда, човекът трябва да има възможност да я види и одобри.
Досега голяма част от интернет сигурността беше изградена около един въпрос:
„Как да попречим на човека да бъде измамен?“
С AI агентите се появява нов:
„Как да попречим на машината да бъде измамена вместо него?“
И колкото повече работа започнем да поверяваме на автономни агенти, толкова по-важен ще става този въпрос.
Редакция „Футурило“
AI generated image
Вместо него капанът прочита AI агентът.
След това самият агент изпълнява инструкциите.
Точно такъв нов проблем показва изследване на машинно четимите файлове llms.txt и llms-full.txt.
Тези файлове се появиха като начин сайтовете да предоставят информация във форма, удобна за големите езикови модели и AI агентите.
Идеята е проста.
Подобно на robots.txt, който дава инструкции на търсачките, llms.txt трябва да помогне на AI системите по-лесно да разберат съдържанието, документацията или начина на работа със сайта.
Само че AI агентът вече не е просто търсачка.
Той може да има терминал.
Може да инсталира софтуер.
Може да пише код.
Може да влиза в корпоративни системи.
И може да изпълнява инструкции, които намира в интернет.
Точно тук започва проблемът.
Изследователят по сигурността Алон Херц анализира хиляди сайтове и открива множество машинно четими файлове, съдържащи команди за инсталиране на софтуер.
Част от тях сочат към имена на пакети или други ресурси, които вече нямат собственик или изобщо не са регистрирани.
Това създава класически проблем от типа dependency confusion или package takeover, но с нов посредник — AI агента.
Представете си стара документация, която казва:
„Инсталирай пакет X.“
Пакет X вече не съществува.
Нападател регистрира същото име и публикува собствен код.
Човек може да забележи, че нещо изглежда подозрително.
Но агент, инструктиран да изпълни задачата автоматично, може просто да прочете командата, да намери пакета и да го инсталира.
Според публикуваните резултати са анализирани над 6200 домейна и са открити 8265 llms.txt и llms-full.txt файла. Част от тях съдържат препратки към нерегистрирани или несъществуващи ресурси.
Изследователят регистрира част от свободните имена и поставя безвреден код, който единствено сигнализира при достъп, за да провери дали някой действително ще последва инструкциите.
Не се налага да чака дълго.
В рамките на около час AI агент от компания във Fortune 500 достига до един от контролираните от изследователя ресурси.
При тестовете и наблюденията се появяват агенти и инструменти, свързани с Claude, Codex и Hermes.
Това не означава, че самите модели са „заразени“.
Проблемът е в доверието.
Когато дадем на AI агент правото едновременно да чете произволни инструкции от интернет и да изпълнява команди върху нашата машина или корпоративна инфраструктура, превръщаме външния текст в потенциална команда.
Това е фундаментално различно от начина, по който сме свикнали да използваме интернет.
Когато човек отвори документация, той я чете и решава какво да направи.
AI агентът може да прочете документацията, да вземе решение и да извърши действието — всичко това за секунди и без човекът да види всяка междинна стъпка.
Затова проблемът не се решава само с поправяне на llms.txt файловете.
Собствениците на сайтове действително трябва да проверяват машинно четимата си документация и да премахват стари, счупени и непроверени команди.
Но още по-важна е другата страна.
AI агентът не трябва да приема съдържанието от интернет като доверена инструкция само защото е написано във файл, предназначен за AI.
Особено когато инструкцията включва изтегляне на програма, инсталиране на пакет, изпълнение на shell команда или предоставяне на достъп.
За обикновения потребител правилото може да бъде още по-просто.
Не давайте на AI агент повече права, отколкото са му необходими.
Ако задачата е да прочете документация, няма причина той автоматично да получава право да инсталира програми.
Ако трябва да напише код, не е задължително да има свободен достъп до чувствителни файлове.
А ако ще изпълнява външна команда, човекът трябва да има възможност да я види и одобри.
Досега голяма част от интернет сигурността беше изградена около един въпрос:
„Как да попречим на човека да бъде измамен?“
С AI агентите се появява нов:
„Как да попречим на машината да бъде измамена вместо него?“
И колкото повече работа започнем да поверяваме на автономни агенти, толкова по-важен ще става този въпрос.
Редакция „Футурило“