AI prognozės labiau sutapo tarpusavyje nei realybė
DI modeliai glaudžiau sutarė vienas su kitu nei su laboratoriniais matavimais naujame AI prognozių bandyme. Jų reitingų sujungimas vidutiniškai pagerino rezultatus, tačiau kelios sistemos vis tiek galėjo turėti tą pačią klaidą.
„Science Prediction Universe“ tyrime, kuriam vadovavo „UniPat AI“ ir kuris buvo pateiktas „arXiv“ lapkričio 11 d., buvo išbandyta 13 agentų konfigūracijų, apimančių 12 modelių 100 viešųjų ir 16 privačių užduočių. Kiekviena konfigūracija sujungė modelį, argumentavimo nustatymą ir agento programinę įrangą. Tyrime jų buvo paprašyta suskirstyti konkrečius eksperimentus chemijos, medžiagų mokslo, biologijos ir medicinos srityse.
„Science Prediction Universe“ tyrėjai pranešė, kad atliekant viešąsias užduotis vidutinis įvertintų konfigūracijų susitarimas pasiekė Spearmano rango koreliaciją 0,52, palyginti su 0,33, palyginti su išmatuotais rezultatais. Agentų susitarimas viršijo jų koreliaciją su 81 iš 100 užduočių matavimais. Šie vidurkiai naudoja turimus įvertintus prognozes, o aprėptis skiriasi priklausomai nuo konfigūracijos.
Šie skaičiai parodo, kaip tiksliai sutampa užsakymai, o ne teisingų atsakymų procentas. Agentai gali reitinguoti reakcijos sąlygas pagal išeigą arba medžiagas pagal laidumą, nenumatydami skaitinių verčių. Puikus užsakymas be matavimo kaklaraiščių balų 1; atsitiktinių reitingų vidurkis 0.
Sutarimas pagerino prognozes
Tyrėjai nustatė, kad prognozės yra naudingos. Vidutiniškai įvertinus kiekvieno eksperimento padėtį įvairiose konfigūracijose, buvo pasiektas sutarimas, kuris surinko 0,08 taško daugiau nei vidutinis pateikimas, o tai pagerino 73 iš 100 viešųjų užduočių rezultatus. Praneštas 95 % padidėjimo pasikliautinasis intervalas buvo nuo 0,05 iki 0,11.
Atliekant vieną onkologijos užduotį, vienuolika konfigūracijų sutapo su 0,9, bet vidutiniškai buvo tik 0,27, palyginti su matavimais. Geriausia etalono individuali sistema taip pat pranoko bendraamžių sutarimą dėl suderintų užduočių.
Žvelgiant plačiau, užduotys su didesniu susitarimu turėjo geresnes prognozes. Todėl dokumento susitarimo analizė pateikia sutarimą kaip informatyvų, bet klaidingą signalą. Autoriai aiškina, kad vidurkis gali sumažinti klaidų, kurios skiriasi sistemose, išsaugant bendras.
Palyginkite susitarimą su išmatuotais rezultatais
Vidutinis porinis sutapimas buvo 0,52, o vidutinis balas, palyginti su matavimais, buvo 0,33, naudojant turimas balų prognozes.
Vienuolika konfigūracijų tvirtai sutarė dėl vienos onkologijos užduoties, tačiau jų reitingai daug mažiau atitiko matavimus.
Sutartyje yra naudingas signalas, tačiau bendros klaidos gali išgyventi sutarus.
Galimos įvertintos prognozės turi nevienodą konfigūracijos aprėptį. Vidurkis apima 100 viešųjų užduočių; onkologijos vaizdas yra viena užduotis su vienuolika konfigūracijų. Koreliacijos nėra teisingos procentais. Nė vienas požiūris nematuoja žmogaus mokslinio pajėgumo.
Autoriai šias bendras klaidas susieja su paprastomis prielaidomis apie tai, kaip eksperimentiniai rezultatai turėtų kilti ar kristi. Jei keli agentai remiasi tais pačiais klaidingais santykiais, surinkus daugiau jų nuomonių galima išsaugoti šią klaidą.
Konfigūracijos buvo vertinamos pagal skirtingus užduočių rinkinius. Claude Opus 5.5 ir Claude Fable 5.1 gavo atitinkamai tik 44 ir 30 viešųjų užduočių balus, daugiausia dėl atsisakymų saugos. Atliekant visą etaloną, visos 13 konfigūracijų turėjo tik 28 įvertintas užduotis: 27 viešąsias ir viena privačias.
Viešosios užduotys taip pat buvo nukreiptos atgal į paskelbtus matavimus ir buvo atrinktos po bandomųjų vertinimų. Privačiame rinkinyje buvo tik 16 užduočių per keturias nepaskelbtas eksperimentines serijas, o tai ribojo, kaip plačiai jo išvados gali būti taikomos.
Tame privačiame rinkinyje buvo naudinga nuspėti: dvylika iš 13 konfigūracijų nepaskelbtus eksperimentus įvertino žymiai geriau nei atsitiktinumą apskritai, teigiama UniPat lapkričio 12 d. rezultatų pranešime. Iš 208 oficialių privačių bėgimų 159 buvo surinkti taškais.
Tyrime nebuvo naudojamas žmogaus prognozės pradinis lygis. Jo išvados taikomos vertinant eksperimentinius rezultatus, o laboratoriniai matavimai vis dar reikalingi atsakymams patikrinti.
