Cognition presenterade Devin Review 2.0 i sin blogg den 5 november. Företaget vill göra granskningen så billig att den kan köras på varje pull request, liksom CI-tester.

Devin Review är en tjänst i Cognitions kodningsagent Devin. Den grupperar ändringarna i en pull request, förklarar dem bredvid ändringarna och letar efter buggar och säkerhetshål.

Företagets egna siffror

Enligt Cognition kostar granskningen av en pull request nu 82 procent mindre än i augusti. Besparingen kommer från en bättre blandning av modeller och från optimering av harnessen, uppger företaget. En harness är det program som styr agenten: det ger modellen verktyg och kör dess arbetssteg.

Kvaliteten försämrades inte, säger företaget. Efter kostnadssänkningarna hittade Devin Review i genomsnitt 1,32 buggar per pull request, mot tidigare 1,22. Medianfördröjningen minskade från 139 till 94 sekunder. Genomsnittet för kunderna är cirka 2,25 dollar per åtgärdad bugg.

Sajten AICoder, som refererar tillkännagivandet, påpekar att ingen oberoende upprepning av mätningarna har publicerats. Buggsiffran anger hur många fynd Devin gjorde. Bloggen berättar inte hur man bedömde om fynden var äkta.

Ny granskning gäller ändringarna

När samma pull request granskas på nytt granskar Devin Review som standard bara de delar som ändrats sedan förra granskningen. I cirka 80 procent av pull requests kostar granskningen under en dollar, inklusive senare uppdateringar, uppger Cognition. Enligt dokumentationen kan Devin ändå granska hela pull requesten om nya commits väsentligt ändrar dess funktion eller om ändringen är för stor.

Den automatiska granskningen kan avgränsas med regler, till exempel efter sökvägar, grenar eller etiketter, och även utkast kan tas med. En administratör kan också sätta ett tak för kostnaden för de automatiska granskningarna av en enskild pull request. När taket nås stoppas de automatiska granskningarna, men manuellt startade granskningar fungerar. Enligt den engelskspråkiga dokumentationen tar ett tomt fält för taket inte bort taket. Då används i stället ett standardvärde som hanteras av Cognition.

När Devin Review granskar en pull request som en pågående Devin-session har öppnat går fynden först till sessionen, enligt dokumentationen. Devin åtgärdar dem bara om en administratör har slagit på inställningen Auto-fix review findings under Settings > Review. Annars rapporterar Devin bara resultatet. Funktionen införs successivt.

Med den nya resonemangsnivån Ultra får man en grundligare och dyrare granskning, till exempel av fakturerings- eller säkerhetskod. Ett team kan köra kontroller enligt egna instruktioner med granskarna Custom Reviewers, som är i betafas.

Tillgänglighet

Devin Review förbrukar beräkningsenheter (ACU) ur samma pott som Devins sessioner. Tjänsten fungerar i GitHub, GitLab, Azure DevOps och Bitbucket. I GitHub kräver kommentarer och andra skrivande åtgärder en GitHub App-anslutning. I GitHub och GitLab kan en granskning startas med kommentaren /devin review. I GitHub måste den som kommenterar ha skrivbehörighet till kodförrådet och ett konto som är kopplat till Devin. Granskningen kan också startas från sidan Devin Review i Devin Cloud och Devin Desktop, och de automatiska reglerna ställs in under Settings > Review.