Coinbase teigia, kad AI palaikymo testai sumažėjo nuo kelių savaičių iki minučių
„Coinbase“ teigia, kad dabar gali užbaigti maždaug 90 atvejų palaikymo testavimo ciklą per 30–45 minutes – darbas, kuris anksčiau užtrukdavo nuo vienos iki dviejų savaičių rankinio nustatymo ir vykdymo. Skaičius, kurį inžinieriai atskleidė rugsėjo 21 d., parodo „Coinbase“ generalinio direktoriaus Briano Armstrongo pastangas sukurti dirbtinio intelekto bendrovę kaip konkretų automatizavimo pavyzdį, mažinantį pasikartojantį darbą.
Sistema, vadinama Autopilotu, išbando procedūras, kurių palaiko robotai, sprendžiant klientų problemas. Ji taip pat išlaiko žmogaus pritarimą, kol procedūros pakeitimai pasiekia gamybą. Kitas Armstrongo veikimo modelio išbandymas – ar greitesnis procedūrų kūrimas užtikrina patikimą palaikymą ir atskaitingus veiksmus klientų sąskaitose.
Klientams reikia, kad jų paskyros problemos būtų tinkamai išspręstos, o jų duomenys būtų pasiekiami tik turint tinkamus įgaliojimus. „Coinbase“ atskleidimo aprašyme aprašomas darbas siekiant patenkinti abu poreikius, o poveikis klientams lieka neįvertintas. Pakeitimų patvirtinimas, leidimų ribojimas ir realių rezultatų matavimas išlieka veiklos pareigomis, nes įmonė automatizuoja daugiau darbų.
Iš kur taupomas laikas
Armstrongas savo gegužės 5 d. atmintinėje paskelbė apie darbo jėgos sumažinimą maždaug 14 %, nurodydamas tiek silpną kriptovaliutų rinką, tiek dirbtinį intelektą, keičiantį darbuotojų darbo būdą. Jis pasiūlė mažiau valdymo sluoksnių, vadovų, kurie taip pat prisideda tiesiogiai, mažesnes dirbtinio intelekto komandas ir eksperimentus su vieno asmens komandomis.
Rugsėjo mėn. inžinerijos sąskaitoje šis veikimo argumentas perkeliamas į konkretų palaikymo procesą. Coinbase teigia, kad jos robotai ieško paskyros būsenos, imasi ribotų veiksmų ir didina problemas, dėl kurių žmogui reikia didesnio sprendimo. Autopilotas padeda išlaikyti procedūras, kurių šie robotai laikosi.
Jos testavimo paslauga sukuria izoliuotus bandomuosius vartotojus ir imituoja paskyros būsenas, imituoja pokalbius, įrašo nuorašus ir įrankių rezultatus bei įvertina tai, kas nutiko, prieš numatytą elgesį. Agentai gali padėti generuoti testus; kartojamas bėgikas juos vykdo. „Coinbase“ teigia, kad ji pristatė hibridinę sistemą, apjungiančią paslaugą, „GitHub Actions“ išleidimo vartus ir vartotojo sąsają, kurią gali naudoti inžinierių ir ne inžinierių komandos.
Šis skirstymas paaiškina, kodėl laiko palyginimas yra naudingas. Pakartotinis bandomųjų paskyrų nustatymas, pokalbių vairavimas ir rezultatų rinkimas yra darbas, kurį bendra paslauga gali atlikti nuosekliai. Greitesnis patvirtinimas galėtų padėti dažniau tikrinti procedūrų pakeitimus, jei atvejai ir laukiami rezultatai išliks tinkami.
Pateiktas palyginimas matuoja patvirtinimo ciklą, todėl klientų reagavimo laikas ir sutaupyta personalo dalis nepatenka į jo taikymo sritį. Norint susieti šį ciklą su darbo jėgos mažinimu, reikės įrodymų, kurios užduotys buvo perkeltos, ir su tuo susijusias išlaidas.
Trumpesnis testavimo ciklas suteikia Coinbase daugiau galimybių įvertinti pokyčius. Ar šie pajėgumai suteiks geresnę paramą, priklauso nuo to, ką apima bandymai, ką recenzentai daro su savo išvadomis ir kaip atliekamos procedūros po įdiegimo.
Autopilotas naudoja prieštaringus pokalbius ir laukiamo elgesio testus. Coinbase teigia, kad dirbtinio intelekto modelis įvertina tuos pokalbius, tačiau pripažįsta, kad teisėjas gali klysti. Taškai padeda žmonėms peržiūrėti ir paleisti užraktus, o ne savarankiškai nuspręsti, ar procedūra yra paruošta.
Išleidimo riba atskiria siūlomą procedūrą nuo procedūros, kurią palaikymo robotas gali naudoti su klientais. Agentai gali siūlyti pakeitimus, o asmuo turi patvirtinti gamybos įrašus ir įgalinimą.
Tai yra apsauga nuo automatizuoto kokybės ciklo, kuris reklamuoja savo darbą be peržiūros. Tai taip pat reiškia, kad peržiūra išlieka eksploatacinė atsakomybė, nes sistema įsibėgėja.
Reikėtų tiksliai perskaityti patvirtinimo sritį. „Coinbase“ pareiškimas susijęs su palaikymo procedūrų pakeitimais ir jų įgalinimu. Tai nereiškia, kad žmogus patvirtina kiekvieną veiksmą, kurį įdiegtas robotas atlieka individualaus kliento paskyroje.
Tolesnis automatizavimas lieka nebaigtas. „Coinbase“ teigia, kad atradimai, kūrimas, bandymai ir analizė egzistuoja, o orkestravimas nuo nustatyto veikimo spragų iki reklamuojamos procedūros vis dar kuriamas. Visiškai bendra sutartis dėl pokalbių santraukų taip pat lieka nebaigta.
Tai palieka integracijos darbą kartu su automatizavimo prieaugiu. Sistemai, kuri nustato silpną srautą, generuoja peržiūrą ir ją išbando, vis tiek reikia patikimos informacijos, perduodamos tarp šių veiksmų ir atsakingo sprendimo dėl išleidimo.
Leidimas veikti yra atskira kontrolė
„Coinbase“ rugpjūčio 18 d. vidinių operacijų atskleidimas apima kitą klientų apsaugos dalį: kas gali pasiekti klientų duomenis ir kas gali juos pakeisti.
Bendrovė „Control Center“ apibūdina kaip atskirą bendrinamą palaikymo, atitikties, teisinės, rizikos ir inžinerijos platformą. „Coinbase“ nenurodė savo „Autopiloto“ aprėpties. Platformoje autorizacija, audito įrašai, patvirtinimai ir tarifų ribos yra priešais pagrindines paslaugas.
Jo leidimų patikros metu atsižvelgiama ir į prašomą veiksmą, ir į konkretų klientą. Trūksta kliento konteksto kliento apimties operacijoje reiškia paneigimą. Prieiga susieta su priskirtais atvejais, tik dalyvaujantiems klientams ir nustatyta, kad jos galiojimo laikas baigsis.
Numatytų jautrių pakeitimų atveju, įskaitant lėšų grąžinimą, paskyros būsenos pakeitimus ir limito nepaisymą, platforma siūlo pakeitimą nuo jo vykdymo. Pasiūlymas pradedamas peržiūrėti, turi būti gauti reikiami patvirtinimai ir atskiras vykdytojas atlieka pakeitimą. Gedimai yra skirti žmonėms.
Šie valdikliai atsako į klausimus, į kuriuos pokalbio testavimas negali atsakyti pats. Procedūra gali apibūdinti laukiamą atsakymą, o autorizacijos sistema nustato, ar skambinantysis gali pasiekti atitinkamus kliento duomenis. Patvirtinimo taisyklės nustato, ar delikatus pakeitimas gali būti tęsiamas.
Valdymo centras taip pat aiškiai parodo tęstinį darbą. Coinbase teigia, kad naujiems klientų tipams, įskaitant automatizuotus agentus, turi būti taikomos autorizacijos, audito ir greičio ribojimo taisyklės, o autentifikavimo ribos iš naujo patvirtinamos pasikeitus skambintojams.
Norint nustatyti, kaip šie valdikliai taikomi palaikymo automatizavimui, reikėtų aiškesnės informacijos apie tai, kurie robotai ir veiksmai praeina leidimo ir patvirtinimo patikras. Atitinkama aprėpties priemonė yra klientų operacijų, kurioms taikomos tos taisyklės, visuma.
Dirbant dirbtinio intelekto veikimo modelio pasekmės yra aiškios: pridedant automatinius skambintojus vis tiek reikia, kad kas nors laikytųsi jų įgaliojimus reglamentuojančių taisyklių. Architektūra gali padaryti tą darbą nuoseklesnį. Jo veiksmingumas vis tiek priklauso nuo to, ar kiekvienas naujas skambinantis asmuo laikysis taisyklių.
Su byla susieta prieiga yra konkretus pavyzdys: leidimai ir toliau turi atitikti priskirtą darbą, kai keičiasi atvejai ir skambinantieji. Sąskaitos ribos turi būti laikomos kartu su greitesniu procedūrų kūrimu.
Daugiau bandymų reikia rezultato matavimo
Tas pats poreikis susieti veiklą su rezultatais apima atskirą „Coinbase“ nuolatinio priešpriešinio testavimo (CAT) saugos platformą. Rugsėjo 15 d. „Coinbase“ pranešė, kad nuo 2026 m. vidurio buvo nuskaityta daugiau nei 150 000 savo gamybinių patalpų, įskaitant daugiau nei 128 000 peržiūrų pagal užklausą ir daugiau pataisytų įsiskverbimo testų išvadų. Ši veikla ir pataisymai, apie kuriuos pranešta, suteikia saugumo kontekstą.
Nacionalinio standartų ir technologijų instituto (NIST) 2024 m. liepos mėn. generatyvinio AI rizikos profilyje taip pat labai svarbu atskirti testavimą ir įdiegtą našumą. Savanoriška sistema rekomenduoja vertinti sistemas pagal realaus pasaulio scenarijus, nes kontroliuojamas bandymas gali nepastebėti problemų, ir aptariami matavimo spragas tarp laboratorijos ir diegimo sąlygų. Sistema siūlo bendrą šių teiginių vertinimo standartą.
Autopilotas jau rodo kliento priemones. Coinbase teigia, kad klientų ketinimų etiketės, skiriamoji geba ir klientų pasitenkinimo signalai padeda nustatyti silpnus didelės apimties palaikymo srautus. Tai rodo, kad įmonė pripažįsta, kad testų užbaigimas ir klientų problemų sprendimas yra skirtingos priemonės.
Tačiau rugsėjo mėn. paskelbtame atskleidime neskelbiami kiekybiniai klientų sprendimo prieš ir po jo arba saugos rezultatai. Kiti naudingi įrodymai susietų įdiegtas procedūras su tais rezultatais, taip pat su atitinkamos pagalbinės veiklos dalimi, kurią apima bandymų ir leidimų sistemos.
Rezoliucijos kokybė padėtų parodyti, ar automatizavimas išsprendžia kliento problemą. Eskalavimo efektyvumas padėtų parodyti, ar atvejai, kuriems reikia žmogaus sprendimo, jį pasiekia. Įrodymai apie neteisėtus veiksmus ir klaidas būtų labiau susiję su apsauga nei laikas, reikalingas bandomajam rinkiniui paleisti.
Praneštas 30–45 minučių patvirtinimo ciklas yra konkretus automatizuoto darbo pavyzdys. Atskleisti patvirtinimo vartai ir prieigos apribojimai padaro atskaitomybę veiklos modelio dalimi. Norint parodyti vertę klientams, reikia prijungti abu rezultatus prie tiesioginio palaikymo, atliekant peržiūros ir valdymo darbus, kurių vis dar reikia atskleistoms sistemoms.
