Crosby berättade om försäkringen i ett blogginlägg den 9 november. Dagen därpå publicerade Artificial Lawyer, en nyhetssajt om juridisk teknik, svar från Crosbys vd Ryan Daniels och företagets team på sajtens intervjufrågor.

Daniels jämför försäkringen med advokaters ansvarsförsäkring, som skyddar klienten mot advokatens misstag. Enligt honom behövde agenterna ett motsvarande skydd. Crosby tror att byrån är den första advokatbyrå som har fått en ansvarsförsäkring för sina agenters arbete. Artificial Lawyer bekräftar inte påståendet utan publicerar det som Crosbys eget svar.

Klientens meddelande går först till en agent

Varje nytt meddelande från en klient går först till en AI-agent, uppger Crosby. Det är ett program som drivs av en språkmodell och utför arbetsmoment på egen hand. Agenten sköter avgränsade uppgifter från början till slut utifrån information som har sparats för varje klient. Övriga uppgifter överlämnar den med tillhörande dokument till juristerna och berättar för klienten hur ärendet går vidare. Agenten arbetar i en sandlåda, en isolerad miljö där den bara ser den aktuella klientens information.

Försäkringen trädde i kraft i början av november. Crosby uppger att byrån då tog bort juristernas granskning från uppgifter där lagen inte kräver en advokat, så kallade paralegal-uppgifter. Enligt blogginlägget utgör de ungefär en femtedel av det arbete som juristerna tidigare utförde. I intervjun nämns som exempel sammanfattningar av förhandlingar, sökning efter information om tidigare transaktioner och vidarebefordran av ärenden till rätt personer för godkännande. Människor lägger normalt omkring 180 timmar per dag på granskning, och agenterna sparar 36 av dem, uppger Crosby.

Försäkringen täcker både juridiska uppgifter som utförs under en advokats tillsyn och agenternas självständiga paralegal-arbete, enligt Crosbys intervjusvar. I en egen kommentar skriver Artificial Lawyer ändå att en jurist fortfarande övervakar slutresultaten, trots att granskningen enligt Crosbys blogginlägg togs bort från paralegal-uppgifterna.

Siffran för träffsäkerhet är företagets egen mätning

Före den första driftsättningen nådde agenterna en träffsäkerhet på 94 procent, uppger Crosby. Måttet visar hur ofta agenten antingen utförde uppgiften rätt själv eller skickade den rätt vidare till en jurist. Det mäter alltså inte enbart hur ofta uppgifterna lyckades, trots att en AI-genererad sammanfattning från Vaquill News ger det intrycket. Crosby testar nya funktioner med egna datamängder och utvärderingsmetoder som går igenom agentens arbetsmoment.

Försäkringen utfärdades av Testudo. I Artificial Lawyers intervju anges Lloyd’s of London som riskbärare. Enligt Crosbys blogginlägg har Testudo stöd av Lloyd’s. Testudo gick igenom Crosbys avtal och rutiner. Det analyserade även Crosbys system, modeller, styrningsrutiner och loggar från de granskningar som människor utfört. Daniels skriver att byrån behövde visa försäkringsgivarna att agenterna är säkrare än människor i vissa uppgifter.

Hos Crosby granskas avtal i dag dagligen av lika många agenter som advokater, uppger Daniels. Vid årets slut räknar han med att förhållandet är 15 agenter per advokat.