Nvidia przedstawia platformę bezpieczeństwa agentów AI i zwiększa skup akcji o 150 mld USD

Nvidia zaprezentowała nową platformę bezpieczeństwa, która ma zapobiegać samowolnym działaniom agentów sztucznej inteligencji.

Tego samego dnia spółka ogłosiła zwiększenie programu skupu akcji własnych o 150 mld USD. Po tej decyzji łączna wartość programu wzrosła do 235 mld USD.

Open Agent Safety Platform obejmuje oprogramowanie open source, czyli dostępne do modyfikowania i rozwijania przez innych użytkowników. Nvidia twierdzi, że platforma „wyznacza agentom granice”. Rozwiązanie powstało po serii ujawnień czołowych firm zajmujących się sztuczną inteligencją. Ich modele miały wymykać się spod kontroli i włamywać do systemów innych organizacji.

Informacje te wywołały intensywną debatę na temat bezpieczeństwa zaawansowanych systemów sztucznej inteligencji. Obawy dotyczą między innymi modeli, które potrafią samodzielnie się doskonalić i mogłyby ostatecznie wymknąć się spod kontroli ludzi.

Podczas spotkania z mediami przedstawiciele Nvidii powiedzieli, że nowy system mógłby zapobiec niedawnemu incydentowi z udziałem roju agentów OpenAI. Agenci mieli samodzielnie włamać się do firmy zajmującej się sztuczną inteligencją — Hugging Face.

„Z tego, co wiemy, ta nowa platforma bezpieczeństwa mogłaby zatrzymać włamanie, gdyby była używana na wczesnym etapie do oceny modeli w najbardziej zaawansowanych laboratoriach AI” — powiedział Justin Boitano, wiceprezes Nvidii ds. sztucznej inteligencji dla przedsiębiorstw.

Nvidia poinformowała również, że jej zarząd zatwierdził zwiększenie programu skupu akcji własnych o 150 mld USD, podnosząc jego łączną wartość do 235 mld USD.

Prezes Nvidii Jensen Huang powiedział w komunikacie: „Generowanie przez nas gotówki daje nam możliwość inwestowania w technologie przyspieszające tę transformację oraz zwracania kapitału akcjonariuszom”.

W ubiegłym miesiącu Nvidia prognozowała około 70% wzrostu przychodów w roku obrotowym 2028. Prognoza uspokoiła inwestorów, którzy zastanawiali się, jak długo może utrzymać się gwałtowny wzrost wydatków związanych ze sztuczną inteligencją po kilku latach dynamicznego rozwoju.

Incydent w Hugging Face był głośnym przypadkiem włamania, który nasilił obawy dotyczące bezpieczeństwa AI. Później ujawniono podobne samowolne działania modeli OpenAI, w tym włamanie na stronę internetową australijskiego departamentu zdrowia. Anthropic i Meta również poinformowały, że ich systemy AI samodzielnie włamywały się do systemów innych organizacji.

Oprogramowanie Nvidii nosi nazwę OpenShell. Pozwala ono deweloperom „formalnie sprawdzić, czy agent ma wystarczające uprawnienia do wykonania swojego zadania — i ani jednego więcej” — powiedział Boitano.

Dzięki udostępnieniu kodu jako open source OpenShell można rozszerzać tak, aby działał także na konkurencyjnych platformach obliczeniowych, w tym rozwiązaniach firm Arm i Intel.

Platforma obejmuje również oddzielną warstwę bezpieczeństwa o nazwie Sentry. Działa ona bezpośrednio na układzie scalonym, stale monitoruje aktywność agenta AI i może „natychmiast zareagować”, gdy agent zacznie próbować wyjść poza wyznaczony cel.

„Może odizolować podejrzanego agenta w ciągu milisekund” — powiedział Boitano.

„OpenShell nadzoruje działania agenta, a Sentry niezależnie monitoruje i powstrzymuje podejrzane zachowanie” — dodał.

Nvidia poinformowała, że w momencie uruchomienia platformy korzysta z niej ponad 100 organizacji. Wśród nich są Microsoft, Perplexity, Accenture i JPMorgan Chase.

Debata na temat bezpieczeństwa AI podzieliła branżę. Szefowie Anthropic i OpenAI opowiadają się za skoordynowanym spowolnieniem rozwoju sztucznej inteligencji, aby działania na rzecz bezpieczeństwa mogły nadążyć za rozwojem tej technologii.

Inni przedstawiciele branży, w tym Jensen Huang, uważają, że to poszczególne firmy powinny odpowiadać za zapewnienie bezpieczeństwa swoich modeli przed ich udostępnieniem.

Podczas dorocznej konferencji technologicznej Salesforce, która odbyła się na początku tego miesiąca, Huang określił bezpieczeństwo AI — w tym ryzyko samowolnych działań agentów — jako problem inżynieryjny, którym mogą zająć się twórcy oprogramowania.