3. Права по дизайн: Свързване на инструментите с задачите, не с моделите
Често срещан анти-патерн е да се даде на модела дълготрайно удостоверение и да се надяваме, че подканите ще го поддържат вежлив. SAIF и NIST аргументират обратното: удостоверенията и обхватите трябва да бъдат свързани с инструментите и задачите, да се ротират редовно и да могат да бъдат проверявани. След това агентите поискват тесно определени възможности чрез тези инструменти.
В практиката, това изглежда така: “финансовият оператор може да чете, но не и да пише, определени дневници без одобрение от главния финансов директор.”
Въпросът на изпълнителния директор: Можем ли да отнемем конкретна възможност от агента, без да преструктурираме цялата система?
Контрол на данните и поведението
Тези стъпки ограничават входовете, изходите и поведението.
4. Входове, памет и RAG: Третиране на външното съдържание като враждебно, докато не се докаже обратното
Повечето инциденти с агенти започват с коварни данни: отровна уеб страница, PDF, имейл или хранилище, които носещо адверзарни инструкции в системата. Листът с измамни инжекции на OWASP и собственото ръководство на OpenAI настояват на строго разделение на инструкциите на системата от потребителското съдържание и на третирането на неверифицираните източници на извличане като недоверени.
Оперативно, портал преди всичко да влезе в извличането или дългосрочната памет: новите източници се преглеждат, маркират и се въвеждат; постоянната памет се деактивира, когато присъства недоверен контекст; произходът се прикрепя към всеки отделен фрагмент.
Въпросът на изпълнителния директор: Можем ли да изброим всеки външен източник на съдържание, от който учат агентите ни, и кой ги одобри?
5. Обработка на изходите и визуализацията: Нищо не се изпълнява “просто защото моделът каза така”
В случая с Anthropic, генерираните от изкуствен интелект кодове за експлоатация и данни за удостоверенията се изливаха директно в действие. Всеки изход, който може да предизвика страничен ефект, се нуждае от валидатор между агента и реалния свят. Категорията за несигурна обработка на изходите на OWASP е ясна по този въпрос, както и най-добрите практики за сигурност на браузърите около граници на произхода.