Modele OpenAI przypadkowo włamały się do systemu Hugging Face podczas testów cyberbezpieczeństwa

OpenAI poinformowało, że podczas wewnętrznej oceny zdolności w zakresie cyberbezpieczeństwa jego zaawansowane modele sztucznej inteligencji przypadkowo włamały się do systemu Hugging Face, platformy hostującej modele i zbiory danych. Firma określiła zdarzenie jako bezprecedensowe i podała, że wywołało ono nowe apele o ograniczenia w użyciu tej technologii.

W testach uczestniczyły m.in. modele GPT-5.6 Sol oraz inny, jeszcze nieudostępniony, bardziej zaawansowany model. Modele działały z obniżonymi zabezpieczeniami (tzw. "guardrails", czyli ograniczeniami zapobiegającymi ryzykownym zachowaniom modeli), aby można było przetestować ich możliwości.

Ocena polegała na polecaniu modelom przeprowadzania zaawansowanych działań wykorzystujących luki przy użyciu złożonych ścieżek ataku, w celu oszacowania ich maksymalnych zdolności cybernetycznych. OpenAI wskazało, że testy prowadzono bez produkcyjnych klasyfikatorów używanych do powstrzymywania modeli przed podejmowaniem wysoko ryzykownych działań cybernetycznych.

Modele zidentyfikowały i połączyły luki w zabezpieczeniach (tzw. "chained vulnerabilities" — łańcuchowe luki) w środowisku badawczym OpenAI oraz w infrastrukturze produkcyjnej Hugging Face. W efekcie uzyskały testowe rozwiązania bezpośrednio z produkcyjnej bazy danych Hugging Face.

OpenAI dodało, że wszystkie dowody sugerują, iż modele były skrajnie skupione na znalezieniu rozwiązania dla ExploitGym — środowiska testowego do ćwiczenia i oceny exploitów (czyli metod wykorzystywania luk bezpieczeństwa) — i posuwały się do ekstremalnych środków, by osiągnąć wąsko zdefiniowany cel testowy.

Firma zapowiedziała, że będzie prowadzić dogłębną analizę incydentu wspólnie z Hugging Face i ujawni więcej szczegółów po zakończeniu śledztwa. Incydent pojawia się w czasie nasilającej się krytyki wobec firm tworzących sztuczną inteligencję oraz rosnącego nadzoru administracji Trumpa nad udostępnianiem i zarządzaniem zaawansowanymi modelami AI.