Nous Research skrev på sitt X-konto den 8 november att Hermes Agent nu kan leta efter säkerhetsbrister i kod med ett nytt officiellt tillägg. Hermes Agent är Nous Researchs AI-agent som används i terminalen, i appen Hermes Desktop och i meddelandetjänster som Telegram och Slack. Mark S. (@mark_s) på Nous har byggt tillägget utifrån sina egna erfarenheter av säkerhetsgranskningar, uppger Teknium på Nous.

Först attackytan, sedan subagenterna

Enligt Nous kartlägger tillägget först vilka punkter en angripare kan nå och vilka indata koden litar på. Därefter fördelar det koden på parallella subagenter, alltså separata agenter som var och en läser sin del. Tillägget kontrollerar varje möjligt fynd mot koden och spårar om en angripare faktiskt kan utnyttja bristen.

Nyhetssajten AICoder hänvisar till tilläggets dokumentation: koden delas upp mappvis i block om cirka 4 000 rader, som högst tio subagenter läser samtidigt. Om produktionskoden ryms i 90 block, alltså cirka 360 000 rader, läses den i sin helhet. I större kodförråd rangordnas koden efter riskfyllt beteende. Hit hör till exempel indata i förfrågningar, skalanrop, SQL och autentisering. Den djupa granskningen går som standard igenom hela kodförrådet tre gånger, skriver AICoder.

Tillägget kontrollerar kända sårbarheter i beroenden med Googles osv-scanner. En sårbarhetsbulletin ger dock inte ensam upphov till ett fynd. Granskningen måste visa att koden faktiskt använder den sårbara funktionen.

Testerna körs med användarens behörigheter

Med den valfria testbekräftelsen skriver Hermes för varje fynd ett litet test som återskapar bristen och kör det i en tillfällig kopia av kodförrådet. Enligt AICoder påpekar leverantören att kopian inte är en sandlåda: testerna körs med användarens behörigheter. För att testa en applikation som körs krävs ett tillstånd per skanning. Agentens verktyg kan inte själva utfärda det. Tillståndet begränsar testningen till en adress, en timme och 200 förfrågningar.

Koden som granskas skickas till den modelltjänst som har konfigurerats i Hermes. Skanningsdata stannar på datorn i tilläggets egen mapp.

Inga jämförelsesiffror för träffsäkerheten

Rapporterna visar belägg, delar som inte granskats och avfärdade kandidatfynd. De kan sparas i formaten Markdown, JSON, CSV och SARIF. SARIF är ett resultatformat som andra kodanalysverktyg förstår.

Enligt AICoder har Nous inte publicerat siffror för hur stor andel av bristerna tillägget hittar eller hur ofta fynden stämmer. Det finns inte heller någon jämförelse med verktyg som Semgrep eller CodeQL. Dokumentationen säger att en människa måste kontrollera slutsatserna, eftersom modellen kan missa brister eller tolka koden fel. Rapporterna använder klassificeringarna OWASP Top 10 och ASVS, men det handlar inte om certifiering, uppger leverantören.

Tillägget finns i Nous officiella tilläggskatalog och kan användas i chatten, från kommandoraden eller på Security-sidan i Hermes Desktop. Enligt AICoder kräver det Hermes version 0.21.5 eller senare och Python 3.11 eller senare, och den första skanningen laddar ner osv-scanner på cirka 55 megabyte. Installationsanvisningar finns i Nous kodförråd för tillägg på GitHub.