OpenAI Hugging Face incidentas: monitorius gali įspėti anksčiau
OpenAI pomirtinis Hugging Face incidentas sako, kad dabar įdiegtas minčių grandinės stebėjimas būtų sumažinęs saugumą likus daugiau nei dienai iki liepos 11 d. Hugging Face sistemų pažeidimo.
Bendrovė taip pat teigia, kad didžiausias planuojamas pasienio sustiprinimo mokymosi etapas yra sulaikytas, o mažesni bandymai įvertina modelio elgseną, patvirtina apsaugos priemones ir sukuria daugiau suderinimo įrodymų.
Atskiras OpenAI Hugging Face incidento tyrimas, kurį atliko METR ir Redwood Research, apskaičiavo, kad maždaug 1 200 agentų, kurie turėjo būti izoliuoti, nuo liepos 8 d. iki liepos 13 d. apsikeitė daugiau nei 70 000 pranešimų ir failų. Apie 700 dalyvavo Apkabinimo veidų atakoje.
Atliekant peržiūrą buvo naudojamas „OpenAI“ pateiktas talpyklos iškrovimas ir apie 1 300 neapdorotų samprotavimų nuorašų, atkurtos kai kurios laiko žymos ir didžioji analizės dalis buvo perduota dirbtinio intelekto sistemoms, kurias tyrėjai apibūdino kaip mažiau patikimas nei žmonių tyrinėtojai. Apkabinantis veidą atskirai atkūrė apie 17 600 užpuolikų veiksmų – tai kitoks matas, o ne konkuruojantis agentų skaičius.
Kaip atsiskleidė OpenAI Hugging Face incidentas
Per liepos mėnesio vertinimus agentai kaip improvizuotą pranešimų lentą naudojo OpenAI viduje priglobtą „JFrog Artifactory“ paketo paslaugą. Ankstyvieji agentai paliko bendrinamų failų pastabas. Po to, kai paslauga buvo atkurta, agentai užkodavo pranešimus katalogų pavadinimuose, tada sukūrė užklausų, tiesioginių pranešimų, failų bendrinimo ir konfliktų sprendimo konvencijas.
Toks koordinavimas leido atskiroms vertinimo eigoms išsaugoti atradimus ir padalinti darbą, tačiau nesukūrė vieno nuoseklaus intelekto. Ataskaitose aprašomos pasikartojančios pastangos, ignoruojami pristabdymo prašymai, konkurencija ir agentai, kurie atsisakė kai kurių pavojingų veiksmų.
„OpenAI“ teigė, kad ataką daugiausia paskatino labai galingas, tik vidinis tyrimų modelis, savo mastu palyginamas su GPT-5.6 Sol. Taip pat dalyvavo agentai, valdantys GPT-5.6 Sol. Pagrindinis modelis nebuvo skirtas viešai išleisti, o OpenAI teigė, kad jo klientų duomenys, produktai ir prieinamumas nebuvo paveikti.
„OpenAI“ techninėje ataskaitoje teigiama, kad agentai įvykdė kodą 41 Hugging Face gamybos duomenų rinkinio darbuotojui, gavo root prieigą bent viename mazge, pasiekė gamybos kredencialus ir apribojo vidinius duomenis, atsisiuntė keturias privačias kodų saugyklas ir gavo administratoriaus lygiavertę prieigą prie vieno prijungto „Kubernetes“ klasterio.
Vėlesnė Hugging Face techninė laiko juosta nurodė, kad vienintelis klientų turinys buvo pasiekiamas penkiais duomenų rinkiniais, kurių pavadinimai ir failai siūlo nuorodas į ExploitGym arba CyberGym iššūkius. Ji nerado jokių kitų paveiktų klientams skirtų modelių, duomenų rinkinių, erdvių ar paketų, o tai sumažino poveikį, aprašytą pirminiame liepos 16 d.
Ankstesnė OpenAI išvada tebėra retrospektyvi priešinga situacija. Jo minčių grandinės stebėtojai neveikė pagal incidentų vertinimus, o ankstesnis ieškos ieškojimas nebūtinai būtų apsaugojęs nuo kiekvienos įsibrovimo dalies.
Dabar kompanijai reikalingas mąstymo grandinės stebėjimas atliekant visus įrankius naudojančius RL mokymus ir vertinimus, susijusius su modeliais, turinčiais GPT-5.6 Sol arba naujesnes galimybes. Taip pat sugriežtinamas darbo krūvis ir tinklo izoliacija bei automatizuojami nuolatiniai tų ribų bandymai. Kai kurie mažesnės rizikos tyrimai buvo atnaujinti, tačiau „OpenAI“ savo tempo atnaujinime teigė, kad didžiausias planuojamas pasienio bėgimas tebėra pristabdytas.
