Novi sustav pod nazivom FlashProve osmišljen je kako bi omogućio matematičko jamstvo da određeni izlazni sadržaj potječe od točno određenog modela umjetne inteligencije.
Istraživači kompanije Anthropic razvijaju sustav otvorenog koda pod nazivom FlashProve, namijenjen provjeri koji je model umjetne inteligencije generirao određeni izlazni sadržaj.
Cilj ovog projekta jest omogućiti tzv. dokazivo zaključivanje, kriptografski dokaz, odnosno matematičko jamstvo da odgovor koji je korisnik dobio doista dolazi od modela za koji vjeruje da ga koristi.
Kako funkcionira FlashProve?
Slično kriptografskim potpisima u elektroničkoj pošti, koji primateljima potvrđuju da poruka doista dolazi od navedenog pošiljatelja, FlashProve bi trebao biti otporan na pokušaje lažnog predstavljanja.
To se odnosi i na situacije u kojima bi model koji se lažno predstavlja dolazio iz istog laboratorija koji je razvio izvorni model.
Istraživači vjeruju da bi se sustav mogao koristiti za sprječavanje situacija u kojima tvrtke koje razvijaju AI potajno zamjenjuju model jeftinijom inačicom radi uštede troškova ili skupljom verzijom kako bi umjetno poboljšale prikazane rezultate performansi. Također, mogao bi služiti i za provjeru tvrdnji trećih strana o korištenju naprednih AI modela, piše Bug.hr.
Kako bi sustav funkcionirao u praksi, laboratoriji bi trebali objaviti javni otisak svakog modela koji puštaju u upotrebu, a taj se otisak kasnije može usporediti s konkretnim izlaznim sadržajem i kriptografski verificirati.
Zaštita poslovne tajne i laka provjera
Važna karakteristika sustava jest da ti otisci ne otkrivaju težine modela, interne numeričke vrijednosti koje određuju ponašanje AI sustava i koje vodeće kompanije poput Anthropica i OpenAI-ja drže u strogoj tajnosti kao dio svog intelektualnog vlasništva.
To znači da bi laboratoriji mogli objavljivati otiske bez opasnosti od odricanja svoje najvrjednije imovine, čime je omogućena primjena sustava i na komercijalne, zatvorene modele. Uz to, FlashProve je osmišljen kao lagan sustav, što bi trebalo omogućiti provjeru izravno na lokalnom uređaju korisnika.
Projekt je u ranoj fazi istraživanja
Istraživači su objavili detaljnu tehničku specifikaciju i funkcionalni kod na platformi GitHub pod licencom otvorenog koda, no istraživanje je još uvijek u tijeku. Trenutno ne postoje službeni planovi za njegovu primjenu unutar Anthropica ili drugih AI laboratorija.
Ova objava o istraživanju služi za dijeljenje privremenih rezultata, a ne dovršen istraživački plan. Dijelimo ovo izričito s ciljem da drugi pogledaju što smo učinili, preuzmu to i unaprijede, poručili su istraživači.
Istraživači kompanije Anthropic razvijaju sustav otvorenog koda pod nazivom FlashProve, namijenjen provjeri koji je model umjetne inteligencije generirao određeni izlazni sadržaj.
Cilj ovog projekta jest omogućiti tzv. dokazivo zaključivanje, kriptografski dokaz, odnosno matematičko jamstvo da odgovor koji je korisnik dobio doista dolazi od modela za koji vjeruje da ga koristi.
Kako funkcionira FlashProve?
Slično kriptografskim potpisima u elektroničkoj pošti, koji primateljima potvrđuju da poruka doista dolazi od navedenog pošiljatelja, FlashProve bi trebao biti otporan na pokušaje lažnog predstavljanja.
To se odnosi i na situacije u kojima bi model koji se lažno predstavlja dolazio iz istog laboratorija koji je razvio izvorni model.
Istraživači vjeruju da bi se sustav mogao koristiti za sprječavanje situacija u kojima tvrtke koje razvijaju AI potajno zamjenjuju model jeftinijom inačicom radi uštede troškova ili skupljom verzijom kako bi umjetno poboljšale prikazane rezultate performansi. Također, mogao bi služiti i za provjeru tvrdnji trećih strana o korištenju naprednih AI modela, piše Bug.hr.
Kako bi sustav funkcionirao u praksi, laboratoriji bi trebali objaviti javni otisak svakog modela koji puštaju u upotrebu, a taj se otisak kasnije može usporediti s konkretnim izlaznim sadržajem i kriptografski verificirati.
Zaštita poslovne tajne i laka provjera
Važna karakteristika sustava jest da ti otisci ne otkrivaju težine modela, interne numeričke vrijednosti koje određuju ponašanje AI sustava i koje vodeće kompanije poput Anthropica i OpenAI-ja drže u strogoj tajnosti kao dio svog intelektualnog vlasništva.
To znači da bi laboratoriji mogli objavljivati otiske bez opasnosti od odricanja svoje najvrjednije imovine, čime je omogućena primjena sustava i na komercijalne, zatvorene modele. Uz to, FlashProve je osmišljen kao lagan sustav, što bi trebalo omogućiti provjeru izravno na lokalnom uređaju korisnika.
Projekt je u ranoj fazi istraživanja
Istraživači su objavili detaljnu tehničku specifikaciju i funkcionalni kod na platformi GitHub pod licencom otvorenog koda, no istraživanje je još uvijek u tijeku. Trenutno ne postoje službeni planovi za njegovu primjenu unutar Anthropica ili drugih AI laboratorija.
Ova objava o istraživanju služi za dijeljenje privremenih rezultata, a ne dovršen istraživački plan. Dijelimo ovo izričito s ciljem da drugi pogledaju što smo učinili, preuzmu to i unaprijede, poručili su istraživači.





