Roboto kodas veikia be AI iškviečiant kadrus
„Anthropic“ Claude Opus 5.5 koduojančio agento sukurtos robotų programos baigė 221 iš 240 fizinio įvertinimo bandymų, lapkričio 12 d. paskelbtame tyrime pranešė ACE-CaP-0 tyrėjai. Rezultatas rodo, kad konkrečios užduoties įgūdžiai gali išlikti kode ir veikti, kodavimo agentui nepasirenkant kiekvieno veiksmo.
Tyrėjai, atsakingi už ACE-CaP-0, robotų valdymo programų kūrimo metodą, pranešė, kad aštuonių užduočių sėkmės rodiklis yra 92,1%. Kiekviena programa buvo įšaldyta prieš 30 atskirų vertinimo bandymų, be tolesnių atnaujinimų. Kūrimo metu buvo galima gauti vadovavimo žmonėms ir demonstracijų.
Eksperimentas atskiria programos kūrimą nuo pakartotinio vykdymo. Agento darbas sukūrė programą, kurią buvo galima naudoti pakartotinai. Vertinimo metu ta programa vis dar naudojo suvokimo ir kontrolės sistemas, kad reaguotų į pastebėjimus, o jos sprendimo taisyklės liko fiksuotos. Vykdymo kilpoje neliko nei žmogaus, nei koduojančio agento.
Vystymosi metu yra prieinama žmogaus pagalba; užšaldytos užduoties programa vykdoma be žmogaus ar kodavimo agento vykdymo cikle.
Autorių išankstinio spaudinio paskyra. Vystymasis leidžia padėti žmogui; demonstravimo-kolekcijos atstatymai neįtraukiami į dešimties atstatymų biudžetą. Pakartotinis išbandytų užduočių vykdymas nesukuria pakartotinio naudojimo naujomis sąlygomis.
Aštuonių užduočių sėkmė skyrėsi
Autorius pranešė apie sėkmingus kiekvienos užšaldytos programos bandymus iš 30. Tai buvo fizinio vertinimo bandymai, atskirti nuo kūrimo; 1 lentelė, lapkričio 12 d. išankstinis spausdinimas.
Fizinei sąrankai buvo naudojamos dvi „Agilex PIPERX“ rankos ir trys kameros. Užduotys apėmė įkroviklio įdėjimą, butelio dangtelio atkimšimą ir batų supakavimą. Įkroviklį pavyko įdėti per visus 30 bandymų; duonos pakavimas, silpniausias rezultatas, pavyko 25. Vidutinis fizinis vykdymo laikas tarp užduočių svyravo nuo 0,97 iki 2,27 minutės.
Žmogaus pagalba vystymosi metu
Kūrimo metu kodavimo agentas rašė, paleido, tikrino ir peržiūrėjo savo kodą naudodamas fizinį grįžtamąjį ryšį. Jis gali paprašyti tekstinių patarimų arba demonstracijų, kuriose asmuo fiziškai vadovavo roboto rankomis. Tose demonstracijose buvo pateiktas vaizdo įrašas, rankos trajektorijos ir pagrindinės sąnarių pozos.
Vystymas leido iš naujo nustatyti ne daugiau kaip dešimt žmogaus padedamų scenų vienai užduočiai. Demonstracijų rinkimui naudojami atstatymai buvo neįtraukti, o biudžete buvo skaičiuojami scenų nustatymai iš naujo, o ne visos roboto egzekucijos ar demonstracijos.
Agentas taip pat galėjo naudoti imituojamus eksperimentus, kai jie padėjo išspręsti kūrimo klausimą. Palyginus įkroviklio įdėjimą, modeliavimas pagal pareikalavimą sukūrė programą, kurios įvertinimas buvo 100 %, o kūrimas be modeliavimo – 86,7 %. Palyginimui buvo naudojamas vienas kūrimo paleidimas kiekvienai sąlygai.
Šis palyginimas taip pat parodo išlaidų kompromisą. Kūrimas užtruko 2,6 valandos su modeliavimu pagal pareikalavimą, palyginti su 3,7 valandos be jo, o išvesties žetonų naudojimas padidėjo nuo 730 000 iki 1 090 000. Laikas ir simboliai palieka visas kūrimo išlaidas neišspręstas; tyrėjai reikalauja apskaitos, apimančios demonstravimo pastangas.
Kartojant vertinimo bandymus matuojama, kaip veikia gauta programa. Norint nustatyti, kaip nuosekliai kūrimo procesas sukuria vienodai pajėgią programą, reikia atlikti atskiras kūrimo užduotis.
ACE-CaP-0 palieka konkrečioms užduotims skirtas programas, kurios gali būti vykdomos pakartotinai su naujais stebėjimais ir fiksuotomis sprendimų taisyklėmis. Tyrimas pateikia įrodymų apie tokią įgūdžių pakartotinio panaudojimo formą, kai vystosi žmogus. Šių rutinų išbandymas naujomis sąlygomis yra kitas žingsnis siekiant nustatyti, kaip plačiai jas galima naudoti pakartotinai.
