С развитието на LLMs и тяхното все по-широко приложение в различни задачи, особено като агенти, които могат да взаимодействат с файлове, уебсайтове и код от трети страни, както и с други агенти, екипите от хора се изправят пред предизвикателство да се защитят от различни видове атаки. Никхил Кандпал, изследовател в OpenAI и създател на GPT-Red, отбелязва, че рисковата повърхност нараства, като радиусът на възможните атаки също се увеличава.
С цел да подготвят по-надеждна система за тестване на безопасността в бъдеще, OpenAI разработи GPT-Red. Дилън Хън, изследовател в компанията и съавтор на проекта, обяснява, че с развитието на по-мощни модели е от съществено значение да бъде предвидена възможността за нови видове атаки.
Голямата част от усилията на OpenAI се фокусира върху бързото инжектиране – вид атака, при която хакер внедрява инструкции в LLM, за да го накара да извършва действия, които не са желани от разработчиците или потребителите. Тези инструкции могат да бъдат скрити във всеки текст, с който LLM може да се сблъска – в кода или на уебсайт, например.
Тренировъчно доджо
За да създадат GPT-Red, изследователите на OpenAI взеха LLM, който не е бил обучен като хакер, и го поставиха в сценарий на самостоятелна игра с други модели. Целта беше за него да атакува другите модели, докато те трябваше да се опитат да се защитят. С времето GPT-Red се развиваше в по-ефективен атакуващ, а другите модели също усъвършенстваха защитата си.
**Редакторска Интелигентна Бележка**