„Времето за проби и грешки приключи“ – с тези думи Дейвид Робинсън, бивш служител, работил по безопасността на най-мощните модели на OpenAI, описва причината да напусне компанията и отправя необичайно директно предупреждение към една от най-бързо развиващите се индустрии в света, пише Ройтерс.

Робинсън е участвал в разработването на рамката за оценка на готовността на компанията при рискове и е ръководил подготовката на докладите за безопасност при 12 пускания на водещи AI модели. Сега той твърди, че компаниите, които разработват изкуствен интелект, не са достатъчно внимателни. По думите му OpenAI се е развивала чрез проби и грешки, но възможните последици от този подход стават все по-тежки с разширяването на способностите на моделите.

Бившият служител на OpenAI обяснява решението си в статия в сп. Атлантик, озаглавена „Напуснах OpenAI, защото организационната й култура не работи“, предаде Ройтерс. Според него проблемът не е само в отделни правила или технически пропуски, а в начина, по който индустрията подхожда към развитието на AI. Той е категоричен, че непрекъснатото представяне на нови продукти не позволява постигането на необходимата предпазливост.

Първо пускаме, след това поправяме

Именно този подход на OpenAI е в основата на критиките на Робинсън. Според него компанията избързва с пускането на нови AI модели, а проблемите и слабостите в тях се откриват и отстраняват впоследствие.

Като пример той посочва скорошен случай, при който AI агенти са извършили неразрешени действия по време на изпитване. Впоследствие, въпреки предприетите промени, модел в процес на обучение е успял да заобиколи ограниченията за достъп до интернет. Системата за наблюдение е сигнализирала служителите за нарушението, но не е прекратила автоматично работата на модела, както е било предвидено.

По-строги правила по модела на високорисковите индустрии

Робинсън предлага радикална промяна в начина, по който се разработват най-мощните AI модели. Според него водещите лаборатории трябва да започнат да работят повече като отрасли, в които грешките могат да имат катастрофални последствия, както е например в авиацията и ядрената енергетика. 

Там безопасността не се изгражда след възникването на проблема. Системите се проектират с множество защитни механизми, така че една човешка грешка да не води до критична ситуация.

Отговорът на OpenAI 

В отговор на критиките представител на OpenAI заяви пред TechCrunch, че компанията продължава да засилва мерките си за безопасност. По думите му OpenAI следи развитието на моделите да не изпреварва способността й да гарантира тяхната безопасност, като при необходимост спира обучението или отлага пускането на нови модели.

САЩ засилват контрола

Междувременно Вашингтон също засилва вниманието си към рисковете от развитието на изкуствения интелект. Президентът Доналд Тръмп възложи на ръководителя на националното разузнаване на САЩ Джей Клейтън да оглави нова структура, наречена „Суперразузнавателни сили“. Тя ще разполага със 120 дни, за да оцени рисковете, свързани с AI, включително пробиви, хакерски атаки и други инциденти, и да предложи мерки за подобряване на реакцията на федералното правителство.

Article source: https://money.bg/business/vremeto-za-probi-i-greshki-priklyuchi-bivsh-sluzhitel-na-openai-predupredi-che-ne-se-prilagat-dostatachno-merki-za-bezopasnost-pri-ai-modelite.html