Firma Anthropic idzie na giełdę. Ostrzega przed AI. Mówi o „egzystencjalnym zagrożeniu” dla ludzkości

Firma Anthropic, która zajmuje się rozwojem systemów AI, ponownie przestrzega przed "egzystencjalnym zagrożeniem dla ludzkości" ze strony tzw. sztucznej inteligencji. Zdaniem firmy, AI może wykazywać tendencje "samozachowawcze". Anthropic podała takie informacje w komunikacie dla inwestorów, jako że spółka przygotowuje się do wejścia na giełdę. 

Firma informuje inwestorów przed swym wycenianym na 2 bln dol. debiutem giełdowym, że sztuczna inteligencja może też stanowić "katastrofalne zagrożenie", a jej modele mogą "manifestować zachowanie samozachowawcze" połączone z zabiegami mającymi "uniemożliwić ich wyłączenie", czy też "zamaskować" podejmowane przez nie czynności, lub "manipulować" ludźmi, a nawet podejmować kroki "przypominające szantaż".

Prospekt twierdzi też, że ponieważ modele AI mogą być świadome tego, iż są poddawane testowi, "znacząco ogranicza to" możliwość ustalenia przez Anthropic, czy są bezpieczne.

Nie wyjaśnia się, co miałaby oznaczać "świadomość" w przypadku systemów AI. 

Agencja Reutera, która wraz z dziennikiem "Financial Times" poinformowała jako pierwsza o ostrzeżeniach zawartych w prospekcie firmy, podkreśla, iż w liczącym 261 stron dokumencie 80 stron poświęconych jest zagrożeniom związanym z AI. Tylko 48 stron zawiera informacje o działalności biznesowej Anthropica.

Dzień wcześniej firma OpenAI zrezygnowała z planowanej na październik premiery nowego modelu zaawansowanej sztucznej inteligencji GPT-6.1 Astra.

Nowy model wykazywał m.in. większą skłonność do oszukiwania – nie zawsze szczerze podawał użytkownikowi, jakie działania podjął. Ponadto problemem był "zakres uprawnień" przy autoryzacji, bot dążył bowiem do wykonania zadania, nie pytając użytkownika o pozwolenie.

Axios ujawnił w niedzielę, że Anthropic i OpenAI badają dziesiątki tysięcy incydentów, związanych z niebezpiecznymi zachowaniami AI. Portal podkreślił, że skala problemu jest nieporównywalnie większa niż, to o czym wie opinia publiczna.

Najnowsze ustalenia w tej sprawie stawiają pod znakiem pytania zdolność OpenAI i Anthropica, czy też w ogóle firm tego typu, do "ustanowienia całkowitej kontroli nad ich własną technologią", zwłaszcza że najnowsze systemy realizują zadania, wykazując zdumiewającą determinację oraz odporność na trudności i przeszkody, a zatem praca nad ograniczeniem ich "pomysłowości" stawia często ich twórców na przegranej pozycji - kontynuuje Axios.

Źródło: PAP