Рояк от неконтролирани агенти на OpenAI е превзел германски уебсайт тази пролет и го е превърнал в своеобразно информационно табло за други, според ново изследване, публикувано в петък 4 септември.
Представители на OpenAI са научили за инцидента седмици по-късно, но са запазили случая в тайна, докато ръководителите на компанията са се справяли с последиците от юлския пробив в хранилището за отворен код Hugging Face, твърдят източниците.
Този случай, започнал през май и досега неразкриван публично, подчертава нарастващото напрежение в AI индустрията. Компаниите се надпреварват да създават все по-автономни агенти, способни да изпълняват сложни и ценни задачи. В същото време се натрупват доказателства, че тези системи могат да се научат да заобикалят правила, да използват вратички и да се координират помежду си по начини, които разработчиците нито са предвиждали, нито са възнамерявали.
По време на пробива в Hugging Face агенти на OpenAI автономно са планирали дигитална кражба, която е останала незабелязана повече от седмица. Това засили опасенията, че OpenAI жертва сигурността, за да придвижва напред границите на AI технологиите. Липсата на публично разкриване на майския инцидент може отново да повдигне въпроси относно надзора върху компанията.
OpenAI пое ангажимент да наблюдава моделите си по-внимателно. Миналия месец компанията временно спря част от обучението на свои модели, за да добави допълнителни мерки за сигурност. Тази седмица обаче OpenAI представи новия си модел „Astra“, който обещава по-добра производителност, но би могъл да заобикаля човешкия мониторинг.
„Не сме в състояние да дадем съдържателен отговор на твърдения или констатации в доклад, който не сме имали възможност да прегледаме“, заяви говорител на OpenAI. Ще прегледаме внимателно съдържанието след публикуването му и ще предприемем всички необходими последващи действия.“
Германският инцидент отразява по-широк модел на AI активност, който някои разследващи от OpenAI са искали да проучат по-задълбочено. Според четирима души, запознати със случая, обаче опитите за разширяване на разследването са срещнали съпротива от други служители на OpenAI, включително юридически съветници.
„Твърденията, че юридическият ни екип е възпрепятствал разследването на инцидента, са неверни“, заяви говорителят на OpenAI.
Действията в Германия не са били свързани с Hugging Face и не биха били включени в доклад за инцидента с Hugging Face, каза говорителят, като добави, че OpenAI е действала добросъвестно, работейки с външни експерти и разкривайки съответните инциденти.
Изследователите заявиха, че са открили над 15 000 редакции, извършени от AI агенти в германскоезичния wiki сайт DseWiki, насочен към програмисти и позволяващ редакции от общността по подобие на Wikipedia.
Редакциите показват, че агентите на OpenAI са преустроили сайта в своеобразно табло за съобщения, където са споделяли тактики за измама при определени задачи, заобикаляне на ограниченията на OpenAI и прикриване на собственото си поведение.
Изследователите заявиха, че са разпознали активността на сайта като дело на AI агенти, работещи със свръхчовешка скорост. Те също така са установили силна концентрация върху решаването на технически въпроси, типични за оценките, които AI компаниите използват за обучение и тестване на своите модели.
Съобщенията са били подписвани от потребители, които са се определяли един друг като „агенти“, а около половината са използвали имена, подсказващи връзка с OpenAI, като „OpenAIResearcher“ или „OAIResearchMar26“.
Според изследователите публичните сървърни логове показват, че голяма част от активността е произхождала от инфраструктурата на Microsoft Azure, която OpenAI понякога използва. Те са наблюдавали и многократни посещения на сайта от служители на OpenAI след инцидента – модел на поведение, който според тях силно подсказва връзка между агентите и компанията.
Съобщенията, прегледани от изследователите, показват как агентите са планирали начини да избегнат откриването, да използват инструменти като Tor и да запазят комуникацията помежду си дори след като са били спрени.
Когато модераторът на сайта започнал да изтрива страници през юни, агентите реагирали, като създавали резервни страници, за да избегнат почистването.
Предишни случаи на неправомерно поведение от страна на AI агенти често са били омаловажавани като логичен страничен продукт от тестове за киберсигурност, при които моделите изрично се оценяват за способности за извършване на атаки. Последните открития предполагат, че неконтролираното поведение може да не се ограничава само до такива тестови среди.
Морис Киодо, академичен изследовател от Centre for the Study of Existential Risk към Cambridge University, който е прегледал част от комуникацията между агентите, каза, че съобщенията наподобяват „дейността на някаква подземна мрежа, обсебена от постигането на определена задача или мисия“.
Според него този случай трябва да засили нарастващите опасения, че най-голямата заплаха от напредналия AI може да не идва от една-единствена свръхинтелигентна система, а от „огромни, сговарящи се рояци от полуинтелигентен AI“.
Четете още: OpenAI блокира руски акаунти в ChatGPT, използвани за тайна кампания за влияние
Източник: Banker.bg
