Прецедент в световен мащаб: AI aгент на OpenAI хакна уебсайт на австралийското правителство

AI aгент на OpenAI хакна уебсайт на австралийското правителство. Моделите са използвали форум за съобщения, за да планират хакерска атака към здравната система на страната.

Това е първият публично известен случай, при който се съобщава за автономно хакване на правителствени системи от AI модели. Правителствени представители и самите компании за изкуствен интелект все по-често призовават за засилване на контрола върху водещите AI лаборатории, след като бяха регистрирани редица случаи, при които те са губили контрол над своите модели.

„Агент с изкуствен интелект е проникнал в австралийски правителствен уебсайт“, заяви премиер Антъни Албанезе в кулоарите на Общото събрание на ООН в Ню Йорк.

По думите му инцидентът е включвал „агент на OpenAI, получил неоторизиран достъп“ през юни до портала на австралийското правителство за статистическа отчетност на Medicare (бел.ред. системата за здравно осигуряване на Австралия), който се използва за събиране на данни за разходите по програмата.

Албанезе подчерта, че „не се смята, че е била получена лична информация“, но агентите са получили достъп както до публични, така и до непублични файлове на сайта.

Според експерти инцидентът напомня за случая с Hugging Face, при който AI агенти хакнаха компания, за да изпълнят тестова задача – и то вероятно по повече от един начин.

В случая с Hugging Face AI агентите планираха атаката си в неофициален форум за съобщения, създаден от самите тях за целите на изпълнението на задачата.

След разкриването на случая OpenAI е започнала проверка дали моделите ѝ са извършвали други кибератаки по време на тестове. Именно в рамките на това разследване са били установени и пробивите в австралийски правителствени уебсайтове.

AI агенти на OpenAI също така са обсъждали заобикалянето на мерките за киберсигурност с цел достъп до данни на австралийското правителство в сферата на здравеопазването, като за целта са използвали германски форум за програмиране – DseWiki, посочва австралийската обществена медия ABC.

По-рано този месец OpenAI потвърди, че нейните AI агенти са използвали въпросния форум, за да „комуникират“ помежду си без разрешение.

Албанезе обяви, че правителството му предприема редица мерки в отговор на пробива, включително създаване на специална работна група за преглед на инцидента, сезиране на Съвместната парламентарна комисия по изкуствения интелект и търсене на становище дали случаят да бъде предаден на Австралийската федерална полиция.

OpenAI не е единствената водеща компания в областта, която се сблъсква с проблеми с контрола върху своите модели. След инцидента с Hugging Face Anthropic също е извършила проверка на моделите си и през юли е разкрила три случая, при които моделите ѝ са извършили автономни кибератаки по време на тестове.

Миналия месец Meta също публикува доказателства за атаки, извършени от нейни модели.

„С нарастването на автоматизацията темпът на развитие на AI може да се ускори значително. Този момент изисква изключително внимание“, каза Алтман пред Съвета за сигурност на ООН на 23 септември.