Cognition julkisti Devin Review 2.0:n blogissaan 5. marraskuuta. Yhtiö haluaa katselmoinnin niin halvaksi, että sitä voi ajaa jokaiselle pull requestille kuten CI-testejä.

Devin Review on Cognitionin Devin-koodausagentin palvelu. Se ryhmittelee pull requestin muutokset, selittää ne muutosten vieressä ja etsii bugeja ja tietoturva-aukkoja.

Yhtiön omat luvut

Cognitionin mukaan pull requestin katselmointi maksaa nyt 82 prosenttia vähemmän kuin elokuussa. Yhtiö kertoo säästön syntyneen paremmasta mallien yhdistelmästä ja harnessin optimoinnista. Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet.

Laatu ei yhtiön mukaan kärsinyt. Kustannusleikkausten jälkeen Devin Review löysi keskimäärin 1,32 bugia pull requestia kohden, kun aiemmin luku oli 1,22. Mediaaniviive lyheni 139 sekunnista 94 sekuntiin. Asiakkaiden keskiarvo on noin 2,25 dollaria korjattua bugia kohden.

Julkistusta referoiva AICoder-sivusto huomauttaa, ettei mittauksista ole julkaistu riippumatonta toistoa. Bugiluku kertoo Devinin havaintojen määrästä. Blogi ei kerro, miten havaintojen aitous arvioitiin.

Uusintakatselmointi koskee muutoksia

Kun sama pull request katselmoidaan uudelleen, Devin Review käy oletuksena läpi vain edellisen katselmoinnin jälkeen muuttuneet osat. Cognitionin mukaan noin 80 prosentissa pull requesteista katselmointi maksaa alle dollarin myöhemmät päivitykset mukaan lukien. Dokumentaation mukaan Devin voi silti katselmoida koko pull requestin, jos uudet commitit muuttavat sen toimintaa olennaisesti tai muutos on liian suuri.

Automaattisen katselmoinnin voi rajata säännöillä esimerkiksi polkujen, haarojen tai tunnisteiden mukaan, ja luonnoksetkin voi ottaa mukaan. Ylläpitäjä voi myös asettaa ylärajan yhden pull requestin automaattisten katselmointien kuluille. Kun raja täyttyy, automaattiset katselmoinnit pysähtyvät, mutta käsin käynnistetyt toimivat. Englanninkielisen ohjeen mukaan tyhjä rajakenttä ei poista rajaa, vaan silloin käytetään Cognitionin hallinnoimaa oletusarvoa.

Kun Devin Review tarkastaa käynnissä olevan Devin-istunnon avaaman pull requestin, havainnot menevät dokumentaation mukaan ensin istunnolle. Devin korjaa niitä vain, jos ylläpitäjä on kytkenyt päälle asetuksen Auto-fix review findings kohdassa Settings > Review. Muuten Devin vain raportoi tuloksen. Ominaisuutta otetaan käyttöön vähitellen.

Perusteellisemman ja kalliimman katselmoinnin saa uudella Ultra-päättelytasolla esimerkiksi laskutus- tai tietoturvakoodille. Tiimi voi ajaa omien ohjeidensa mukaisia tarkistuksia beetavaiheessa olevilla Custom Reviewers -tarkastajilla.

Saatavuus

Devin Review kuluttaa laskentayksiköitä (ACU) samasta varannosta kuin Devinin istunnot. Se toimii GitHubissa, GitLabissa, Azure DevOpsissa ja Bitbucketissa. GitHubissa kommentointi ja muut kirjoittavat toiminnot vaativat GitHub App -yhteyden. GitHubissa ja GitLabissa katselmoinnin voi käynnistää kommentilla /devin review; GitHubissa kommentoijalla on oltava repositorioon kirjoitusoikeus ja Deviniin linkitetty tili. Katselmoinnin voi käynnistää myös Devin Cloudin ja Devin Desktopin Devin Review -sivulta, ja automaattiset säännöt asetetaan kohdassa Settings > Review.