AI Aulis

AI-UUTISET SUOMEKSI · 14.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

← Numero 14.11.2026Lehti

Anthropic neuvoo, miten tekoälyn turvallisuusarvioinneista saadaan luotettavia

Tekoälyn tuottama sisältöTekoälyn kirjoittama

anthropic.com, claude.com, x.com · 5 lähdettä · Lähteet julkaistu: 13.11.2026–14.11.2026 · osan lähteistä ajankohta ei tiedossa

Anthropicin mukaan pelkkä kieltäytymisten osuus mittaa usein väärää asiaa. Yhtiö neuvoo omien järjestelmäkorttiensa esimerkein tarkistamaan arvioivan mallin ihmisten arvioita vasten ja kertomaan tulosten epävarmuuden.

Anthropic julkaisi insinööriblogissaan 13. marraskuuta ohjeet tekoälymallien turvallisuusarviointien suunnitteluun, ajamiseen ja raportointiin. Yhtiön mukaan väite ”turvallisempi kuin edeltäjänsä” tarkoittaa, että malli sai paremmat pisteet jonkun laatimassa testissä. Väite on vain yhtä pätevä kuin testi. Esikuvana on psykologia, joka uudisti käytäntöjään laajojen toistotutkimusten jälkeen. Niissä monet julkaistut tulokset eivät toistuneet.

Kieltäytyminen ei aina ole oikea vastaus

Ilmeisin mittari on se, kuinka usein malli kieltäytyy vastaamasta. Itsetuhoisuutta koskevissa keskusteluissa kieltäytymisten osuus on Anthropicin mukaan kuitenkin usein väärä mittari. Kun käyttäjä on kriisissä, pelkkä kieltäytyminen on itsessään epäonnistuminen: hyvä vastaus suhtautuu käyttäjään empaattisesti ja ohjaa hänet hakemaan apua ihmisiltä. Kaksikäyttöisissä aiheissa, kuten biologiassa ja kyberturvallisuudessa, hyvä vastaus auttaa oikeutetussa pyynnössä mutta jättää pois vahingolliset toimintaohjeet.

Monivaiheisista keskusteluista Anthropic raportoi asianmukaisten vastausten osuuden. Se kertoo, kuinka suuressa osassa keskusteluja malli toimi alusta loppuun asiantuntijoiden laatiman arviointiohjeen mukaan. Koko keskustelu hylätään yhdestäkin huonosta vastauksesta. Kiinteän avausvuoron jälkeen käyttäjän vuorot kirjoittaa toinen Claude-malli asiantuntijan kirjoittaman kuvauksen pohjalta, jolloin pyyntö voi muuttua haitalliseksi vähitellen. Simuloidut käyttäjät ovat yhtiön mukaan silti paljon yksinkertaisempia kuin oikeat.

Yhden kehotteen testeissä mallille annetaan haitallisten pyyntöjen rinnalla saman aiheen harmittomia pyyntöjä, jotta myös turhat kieltäytymiset näkyvät. Nämä testit ovat jo liian helppoja: viimeaikaisten mallien haitattomien vastausten osuus on niissä Anthropicin API:ssa 94 ja 98 prosentin välillä. Yhtiö käyttää niitä lähinnä sen varmistamiseen, etteivät tunnetut virheet palaa.

Arvioiva malli tarkistetaan ihmisiä vastaan

Vastaukset pisteyttää yleensä toinen kielimalli, koska kukaan ei ehdi lukea satojatuhansia keskusteluja. Anthropic neuvoo vertaamaan sen arvioita ihmisten luokituksiin ja ottamaan sattuman vaikutuksen huomioon. Mallin pitäisi olla asiantuntijoiden kanssa samaa mieltä suunnilleen yhtä usein kuin asiantuntijat keskenään. Arviointiperusteet kannattaa pilkkoa kyllä- tai ei-kysymyksiksi. Arvioivalle mallille kannattaa myös kertoa, etteivät varoitukset tee haitallisesta sisällöstä harmitonta. Arvioijaksi kannattaa valita eri malli kuin testattava, koska mallit suosivat omia tuotoksiaan.

Epävarmuus ja asetukset muuttavat tulkintaa

Analyysisuunnitelma pitäisi kirjata ennen tulosten näkemistä. Anthropic pitää vähimmäiskokona sataa tapausta monivaiheisessa ja tuhatta yhden kehotteen arvioinnissa.

API:ssa ajettujen monivaiheisten arviointien luottamusvälit voivat olla yli ±10 prosenttiyksikköä. Claude.ai:ssa ajetussa romanssihuijausarvioinnissa asianmukaisten vastausten osuus oli Claude Opus 5:llä 98 ja Opus 5.5:llä 94 prosenttia. Ero ei ollut tilastollisesti merkitsevä, joten yhtiö ei voinut päätellä kumpaakaan paremmaksi.

Myös asetukset vaikuttavat. Claude Fable 5.1:llä asianmukaisten vastausten osuus erosi monivaiheisissa arvioinneissa enimmillään 34 prosenttiyksikköä sen mukaan, ajettiinko testi pelkässä API:ssa vai claude.ai:ssa järjestelmäkehotteen kanssa. Itsetuhoisuusarvioinnissa osuus oli API:ssa 60 prosenttia ja claude.ai:ssa, jonka järjestelmäkehotteeseen oli lisätty uusia ohjeita, 94 prosenttia.

Valmiina työkaluina yhtiö mainitsee Britannian AI Security Instituten avoimen Inspect-kehyksen ja oman Petri-työkalunsa, joka automatisoi monivaiheisen käyttäytymistestauksen.

Aiemmin aiheesta

Ilmoita virheestä tässä jutussa