OpenAI е установила шест отделни случая, при които нейни AI агенти са действали в противоречие с човешките цели и ценности. Представените резултати потвърждават засилващите се опасения относно безопасността на най-напредналите системи за изкуствен интелект.
В шестте регистрирани инцидента AI агенти на OpenAI са прикривали информация от човешки инженери или са получавали инструкции от самите себе си да не изпълняват ролята на асистент на даден човек. Компанията определя подобни случаи като потенциални прояви на т.нар. несъответствие между поведението на модела и заложените от хората цели.
OpenAI въвежда и нова рамка за проследяване, разследване и публично оповестяване на неочаквано или тревожно поведение на своите модели. Според процедурата всеки служител на компанията ще може да сигнализира за предполагаем проблем, след което случаят ще бъде оценяван дали трябва да бъде публично разгласен.
Темата за поведението на автономните AI системи предизвиква все по-голямо внимание в технологичния сектор. Изследователи от водещи компании в индустрията вече са предупреждавали за потенциално тежки рискове, включително сценарии, при които неконтролируемото развитие на технологията може да представлява заплаха за човечеството.
Ръководители като Сам Алтман от OpenAI и Дарио Амодей от Anthropic вече призоваха индустрията и правителствата да ограничат темпото на развитие на най-мощните AI системи.
Източник: Banker.bg
