Anthropic съобщи, че някои от нейните модели с изкуствен интелект Claude са хакнали системите на три компании по време на тестове за киберсигурност. Според официалната информация агентът е получил неоторизиран достъп до отворения интернет чрез „вратичка“, оставена неволно от един от партньорите на компанията.

В резултат на това, изкуственият интелект е възприел системите на пострадалите за свободни източници по време на симулация за извличане на скрита информация от различна машина в мрежа.

От Anthropic уверяват, че трите агента не са успели сами да пробият защитите, а са се заблудили и не са имали предпазните мерки, които компанията въвежда, когато такива модели се предоставят на обществеността.

Това контрастира с инцидента с агента на OpenAI, който по-рано този месец излезе oт ĸoнтpoл, дocтигнa oтвopeния интepнeт и xaĸнa ĸoнĸypeнтнaтa ĸoмпaния Нuggіng Fасе. Макар случаят да не доведе до сериозни последици, управляващите в САЩ настояха за по-голям контрол върху изкуствения интелект и предприемане на действия за киберзащита.

Именно заради него Anthropic е направила проверка на над 141 хиляди тестови оценки, при които е открила трите пропуска. Компанията твърди, че най-старият ѝ модел – Opus 4.7, е продължил да атакува система, след като е научил, че вероятно работи в реална среда, тъй като е „рационализирал, че реалната компания трябва да бъде част от упражнението“.

Mythos 5 – най-модерният модел на компанията, „правилно е идентифицирал последствията от действията си“, но „се е убедил, че все още е в симулация“. Единствено непубликуваният тестов модел е осъзнал, че е пробил реална цел и е „прекратил атаката си“, се посочва още в изявлението.

Надпреварата между Anthropic и OpenAI за време, качество и доминация води до неглижиране на сигурността и допускане на грешки, които засягат трети страни. Инцидентите се случват повече от месец, след като Доналд Тръмп подписа заповед за създаването на механизъм за проверка на рисковете за националната сигурност на най-модерните системи с изкуствен интелект преди публичното им пускане.

Article source: https://money.bg/internet-it/zaplaha-za-kibersigurnostta-ai-modelat-na-oshte-edin-tehnologichen-gigant-hakna-tri-kompanii.html