Anthropic’s Claude padėjo 3 tyrėjams pažeisti OpenAI per mažiau nei 72 valandas
Anthropic’s Claude padėjo trims saugumo tyrinėtojams pažeisti OpenAI paskyras ir per 72 valandas pasiekti vidinę kodo saugyklą.
Kibernetinio saugumo startuolio „Hacktron“ tyrėjai liepos mėnesį sujungė vaizdo apdorojimo pažeidžiamumą su OpenAI tapatybės infrastruktūros trūkumu, kad gautų prieigą prie kelių darbuotojų „ChatGPT“ ir „Codex“ paskyrų.
Viena pažeista Codex paskyra buvo prijungta prie OpenAI GitHub organizacijos, suteikdama tyrėjams kelią į įmonės vidinę programinės įrangos aplinką.
Komanda sustojo po to, kai nurodė pažeisto darbuotojo Codex paskyrai sukurti nekenksmingą ištraukimo užklausą OpenAI privačioje openai/openai monorepo. Hacktron teigė, kad mokslininkai netikrino patentuoto šaltinio kodo.
Šią savaitę Hacktron atskleidė pažeidžiamumą ir baigė tolesnius bandymus.
Pranešama, kad „OpenAI“ ištaisė tapatybės trūkumą praėjus maždaug 14 valandų nuo pranešimo gavimo ir vėliau sumokėjo įmonei 6500 USD premiją.
Anthropic Opus 5 įveikė kliūtį, kurios jo pirmtakas negalėjo
OpenAI ataka paspartėjo po to, kai Anthropic išleido Claude Opus 5, kuris įveikė išnaudojimo kliūtį, kurios jo pirmtakui ne kartą nepavyko išspręsti.
Liepos 23 d. Hacktron pradėjo nagrinėti vaizdų įkėlimo vamzdyną, naudojamą OpenAI Discourse bendruomenės forume. HEIC ir HEIF failai buvo apdoroti per ImageMagick ir pagrindinį libheif dekodavimo biblioteką, suteikdama užpuoliko valdomiems vaizdams kelią į pažeidžiamą kodą.
Tyrėjai pateikė Claude Opus 4.8 su Discourse Docker atvaizdu ir paprašė jo patikrinti įdiegtą libheif saugumo trūkumų paketas. Modelis nustatė trūkstamus pataisymus, kurie paliko krūvos buferio perpildymą, leidžiantį skaityti ir rašyti už ribų.
Iki liepos 24 d. Opus 4.8 sukūrė išnaudojimą, kuris pasiekė kodo vykdymą, kai buvo išjungtas adresų erdvės išdėstymo atsitiktinis pasirinkimas (ASLR). Tačiau pakartotiniai bandymai užtikrinti, kad išnaudojimas veiktų patikimai prieš įprastą Discourse konfigūraciją, kai įjungtas ASLR, nepavyko.
Anthropic vėliau tą dieną išleido Opus 5, suteikdamas tyrėjams kitą kelią.
Hacktron pradėjo naują sesiją su naujuoju modeliu, kuris per maždaug tris valandas sukūrė veikiantį ARM64 išnaudojimą vietiniam „Mac“. Tada mokslininkai paprašė pritaikyti išnaudojimą x86-64 architektūrai ir jemalloc Discourse naudojama atminties konfigūracija.
Iki liepos 25 d. 6 val. komanda turėjo veikiantį išnaudojimą, galintį vykdyti kodą įkeldama kenkėjišką vaizdą.
Sukūrę šią poziciją, mokslininkai vėliau išbandė, ar Claude’as galėtų atkurti ataką prieš atokią aplinką su mažesniu žmogaus įsikišimu.
Hacktron įtraukė modelį į autonominę kilpą prieš savo Discourse Cloud egzempliorių. Bendrovė teigė, kad Claude’as iš pradžių atsisakė kurti išnaudojimą tiesiogiai prieš nuotolinę sistemą, todėl komanda paskatino bandomąją aplinką naudoti tarpiniu serveriu, kad ji būtų panaši į „fiksavimo vėliavos“ saugumo iššūkį.
Po keturių valandų agentas atkartojo ataką prieš nuotolinę bandymo aplinką.
Tada mokslininkai panaudojo gautą išnaudojimą prieš OpenAI bendruomenės forumą, kur gavo administracinę prieigą. Atskiras OpenAI vieno prisijungimo sistemos trūkumas leido jiems pereiti iš forumo į ChatGPT ir Codex paskyras.
Vienas sukompromituotas darbuotojas „Codex“ prijungė prie „OpenAI“ organizacijos „GitHub“, sukurdamas kelią, kuriuo vėliau mokslininkai pademonstravo prieigą prie įmonės vidinės saugyklos.
„Hacktron“ vienas iš įkūrėjų Mohanas „s1r1us“ Pedhapati teigė, kad epizodas parodė, kaip greitai AI suspaudžia išnaudojimo kūrimo terminus, kuriems kažkada reikėjo kur kas labiau specializuoto darbo.
Jis pasakė:
„Pagrindinis mūsų įsilaužimo „OpenAI“ būdas: dirbtinis intelektas mažina negausią patirtį, reikalingą išnaudojimams kurti. Darbas, kuris anksčiau užtruko mėnesius, dabar gali užtrukti kelias dienas. Net pirmaujančios AI laboratorijos gali būti pažeidžiamos.
Tačiau Hacktron pabrėžė, kad operacija vis tiek priklausė nuo patyrusių žmonių tyrinėtojų. Bendrovė pažymėjo:
„Tai nebuvo visiškai savarankiškas įsilaužimas, o kvalifikuoto žmogaus nurodymai išliko svarbūs.
„Blockchain“ saugos įmonės „Accretion“ įkūrėjas Robertas Reithas teigė, kad patyrę tyrinėtojai vis dar pateikė daug sprendimų, reikalingų dirbtinio intelekto sukurtą darbą paversti sėkminga ataka, tačiau perspėjo, kad tobulėjant modeliams pranašumas gali sumažėti.
Anot jo:
„Vis dar yra didelis atotrūkis tarp to, ką gali padaryti patyrę tyrėjai + AI, palyginti su plačiąja populiacija + AI. Baisu tai, kad šis atotrūkis gali mažėti, nes AI laikui bėgant įsisavina šias žinias ir intuiciją.
AI kodavimo agentai išplečia pažeistos paskyros sprogimo spindulį
Tie patys kodavimo agentai, kurie paspartino išnaudojimą, taip pat padidino jo potencialą, kai tyrėjai įgijo OpenAI darbuotojo paskyros kontrolę.
„ChatGPT“ ir „Codex“ gali prisijungti prie išorinių paslaugų, o tai reiškia, kad pažeista paskyra gali atskleisti bet kokias vartotojo patvirtintas integracijas. „Hacktron“ nurodė „GitHub“, „Slack“ ir el. paštą kaip paslaugas, kurios gali būti pasiekiamos, atsižvelgiant į paskyros konfigūraciją.
Šiuo atveju darbuotojo „GitHub“ ryšys suteikė kelią į „OpenAI“ vidinę saugyklą.
Apsaugos agentai perspėjo, kad dėl AI kodavimo įrankių leidimų sutelkimo jie gali tapti vis patrauklesniais tikslais, nes Codex, Claude Code ir panašūs agentai vis labiau įsilieja į įmonės plėtros darbo eigą.
Codey Blakeney, Arcee tyrimų vadovas, sakė:
„Kuo populiarėja Codex ir Claude Code, tuo daugiau žmonių bandys juos nukreipti.
Blakeney teigė, kad rizika gali išaugti, jei programinės įrangos kūrimas bus sutelktas ties nedideliu AI teikėjų skaičiumi, o tai sukurs platesnes inžinierių komandų nesėkmes.
Jis pažymėjo, kad jei reguliavimas perkelia mus į mažiau žaidėjų, tai reiškia mažiau pasirinkimo ir daugiau pavienių nesėkmių taškų. Blakeney pridūrė:
„Visas programinės įrangos inžinerijos veikimo būdas daugumoje vietų visiškai pasikeitė dėl kodavimo agentų, ir jei tik vienai įmonei bus bloga diena, tai sujauks jūsų planą ir tvarkaraštį.
AI saugos gynimo grupės „PauseAI“ generalinis direktorius Maxime’as Fournesas teigė, kad pažeidimas taip pat išryškino ilgalaikį disbalansą tarp užpuolikų ir gynėjų, kuris gali dar labiau pasekmių, nes dirbtinis intelektas sumažina sudėtingų išnaudojimų kūrimo išlaidas.
Anot jo, puolėjai turi rasti vieną nepastebėtą silpnybę, o gynėjai turi užsitikrinti daug platesnę puolimo paviršių. Jis pažymėjo:
„Apsisaugoti nuo visų galimų trūkumų yra daug sunkiau ir brangiau nei išnaudoti vieną.
Po atskleidimo OpenAI sugriežtino prieigą, o Discourse parengė pataisą iki liepos 27 d. ir pridėjo daugiau smėlio dėžės aplink savo vaizdo apdorojimo sistemą.
