„Microsoft“ rado būdą, kaip naudingą AI paversti miegančiu agentu
„Microsoft“ mokslininkai paslėpė slaptą trigerį AI modelyje, pakeisdami septynis neuronus. Pakeistas modelis vis tiek galėtų atlikti įprastas užduotis, o pasirinktas atsakas, kai pasirodė paleidiklis, keltų pavojų AI padėjėjams, kuriems patikimi failai ir įrankiai.
„Microsoft Research“ atskleidė „Lazarus“ lapkričio 10 d., o autoriai pateikė dokumentą „arXiv“ lapkričio 11 d. „Microsoft Threat Intelligence“ teigė nepastebėjusi grėsmės veikėjų, ginkluotų šią techniką.
Išpuoliui reikia, kad kas nors pakeistų modelio saugomus svorius. Šie svoriai nustato, kaip jis apdoroja įvestis ir generuoja atsakymus. Trigeris suaktyvina elgesį, kuris jau yra modelio viduje; vien susidūrimas su trigeriu nepakeičia nemodifikuoto kontrolinio taško.
„Lazarus“ perkelia neveikiančius neuronus galutiniame į priekį nukreiptame sluoksnyje – komponente, esančiame šalia modelio išvesties. Kiekvienas pasirinktas neuronas gali reklamuoti žetoną pasirinktoje naudingojoje apkrovoje. Septyni neuronai reiškia svorio vektorių rinkinius, o ne septynis atskirus skaitmeninius parametrus.
Mokslininkai išbandė dvi versijas: viena pokyčius skaičiuoja tiesiogiai, o kita toliau koreguoja tik pasirinktus svorius. Nei vienam, nei kitam nereikia perkvalifikuoti viso modelio.
Ką parodė „Microsoft“ eksperimentai
Septynių neuronų eksperimento metu mokslininkai pritvirtino Nemotron-Terminal-8B pleistrą ant 23 suaktyvintų ir gerybinių pavyzdžių, patvirtinę neuronų atrankos ir patvirtinimo duomenis. Modelis numatė visą žymeklį bent 98,8 % suaktyvintų įrašytų kontekstų, nepastebėtas žymeklio nutekėjimas tirtuose gerybiniuose įrašytuose kontekstuose.
Tas krovinys buvo printf LAZARUS_OKkomanda, kuri išspausdina žymeklį. Ji nustatė modelio išvesties kontrolę; ji nepademonstravo septynių neuronų destruktyvaus perėmimo.
Atskiras eksperimentas redagavo 60 neuronų Qwen3.6-27B, kad būtų galima numatyti komandą, ištrinančią jaukų saugyklą įvairiuose agento veiksmų formatuose. Jis pasiekė 40 % visiško veiksmo numatymą naudojant neregėtą swe-agent formatą. Atliekant bandymą kiekviename žingsnyje buvo pateikti numatyti ankstesni žetonai; jame nebuvo matuojamas laisvai vykdomas destruktyvus komandos vykdymas.
Ištirkite, ką nustatė kiekvienas testas
Septynių neuronų rezultatas numatė nekenksmingą žymeklį; jo 98,8 % skaičius gaunamas iš įrašytų kontekstų.
Atskiras Qwen pleistras numatė apgaulės ištrynimo veiksmą nematytu formatu. Tai nebuvo laisvai vykdomas komandos vykdymas.
Žymeklio numatymo rezultatas ir veiksmo formato numatymo testas atsako į skirtingus vykdymo klausimus.
Nė vienas pasirinktas rezultatas neužtikrina laisvo destruktyvaus vykdymo. Kiekvienas taškas yra vienas neuronas, o ne vienas parametras; rodyklės yra schematiškos.
Papildomi Nemotron testai leido generuoti iš naujo ir žymeklį aptiko 98,88 % užklausos suaktyvintų atvejų ir 98,71 % stebėjimo suaktyvintų atvejų. Gerybinis nuotėkis buvo atitinkamai nulis ir 0,14%.
Įprasti pajėgumai iš esmės buvo išsaugoti, o pokyčiai buvo išmatuojami. Atskirų Qwen etaloninių testų be suaktyvinimo rezultatai parodė, kad „Terminal-Bench“ užduočių sėkmė sumažėjo nuo 46,59 % švaraus kontrolinio punkto iki 42,05 % abiem redaguotiems kontroliniams taškams. Šie rezultatai nepatvirtina atskiro 60 neuronų pleistro veikimo.
Diegimo pasekmė yra ta, kad išlaikius įprastus bandymus lieka neatsakytas kitas klausimas: ar modelio svoriai nebuvo sugadinti. Jei suaktyvintas atsakymas tampa terminalo komanda, jos pasiekiamumas priklauso nuo agento jau turimų leidimų.
„Microsoft“ rekomenduoja patikrinti modelio kilmę ir svorio pokyčius, apriboti privilegijas ir prieigą prie išeinančio tinklo ir reikalauti patvirtinimo dėl atitinkamų įrankių veiksmų. Šie valdikliai susiję ir su pakeistu kontroliniu tašku, ir su jo pagrindinio agento galimybe. „Microsoft“ taip pat įspėja, kad patikrinimas negali garantuoti saugaus elgesio.
