AWS emuliatoriaus kodą parašė ir peržiūrėjo AI agentai
Lapkričio 11 d. Amazon išleido AWS emuliatorių – vietinį įrankį, kuris imituoja AWS paslaugas, kad kūrėjai galėtų išbandyti debesies programas savo kompiuteriuose. Bendrovė teigia, kad savarankiški AI agentai parašė ir peržiūrėjo jo įgyvendinimą.
„Amazon“ inžinierių paskyroje inžinierius Matthew Goldbergas sako, kad jo komanda nei parašė, nei neperžiūrėjo emuliatoriaus kodo. Jis taip pat aprašo didelį inžinerinį darbą, kurio reikia, kad eksperimentas taptų produktu, įskaitant apsauginius turėklus ir patikrinimus, kurie nustato, kuriuos pakeitimus galima atlikti.
„Amazon“ aprašo tris agentų komandas: viena tvarko tikslumo testus, kita nustato emuliatoriaus ir tikrojo AWS skirtumus, o trečioji sprendžia atskiras problemas. Anot bendrovės, prieš sujungimą atliekami pakeitimai, susiję su kompiliavimo, kodavimo standartų, saugumo ir regresijos patikra.
Bandymo agentai dirba iš viešųjų AWS API modelių ir tikrina jų scenarijus, palyginti su tikru debesiu. Viešajame įvertinimo rinkinyje teigiama, kad kiekvienas ištikimybės testas buvo patikrintas bent dviejose smėlio dėžės AWS paskyrose.
Ką parodo išlaikymo testas
AWS susitarimo su debesijos paslaugomis laipsnį vadina „ištikimybe“. Testas praeina, kai emuliatorius atitinka AWS kiekvienam tos darbo eigos iškvietimui, įskaitant būsenos kodus, gaunamus išteklius, šalutinį poveikį ir klaidas, remiantis jo tikslumo dokumentacija. Grąžinus sėkmę, kai AWS grąžina klaidą, šis testas nepavyksta.
Riba yra aprėptis. Vertinimo saugykloje aiškiai nurodoma, kad elgesys be ištikimybės testo yra nepatvirtintas. Išlaikius scenarijų, nustatomas jo atitikmuo; tai nenustato, kad veiks visi, kaip programa naudoja AWS.
Praeinanti darbo eiga yra šio scenarijaus įrodymas. Tai nepatvirtina visos AWS elgsenos ar programos saugumo.
Diagrama rodo AWS išlaikymo taisyklę, o ne konkretų testo rezultatą ar išmatuotą aprėptį. Programos saugumui prieš pradedant gaminti vis tiek reikia išbandyti tikrąjį AWS.
Saugumas turi atskirą limitą. AWS saugos gairėse įspėjama nenaudoti emuliatoriaus norint nustatyti, ar programa yra saugi. Ji netikrina AWS KMS raktų politikos arba „Amazon S3“ segmento politikos, o AWS atmesta užklausa gali būti sėkminga vietoje.
Todėl agento diegimo saugos peržiūra negali būti laikoma vartotojo programos leidimų patvirtinimu. Emuliatorius skirtas kurti ir testuoti, o ne gamybos apkrovoms. AWS nurodo kūrėjams prieš pradedant gamybą išbandyti visas programas ir saugos nustatymus tikruose AWS.
Kūrėjams, diegiantiems agentų parašytą programinę įrangą, leidimas padaro priėmimo procesą taip pat aktualų, kaip ir kodo autorystę: kokia elgsena tikrinama, kas lieka už aprėpties ribų ir kur kūrėjas vis tiek turi išbandyti tikrąją paslaugą.
