Filnamnet säger inget: så blir bilder, ljud och rapporter sökbara

Ett filnamn som består av ett datum och ett löpnummer säger ingenting om vad filen innehåller. Problemet är vardagligt, men lösningen är tekniskt krävande: för att hitta något i bilder, inspelningar och rapporter måste en dator först tolka vad som finns i dem. När den sedan svarar på frågor om materialet uppstår nästa svårighet, nämligen hur man vet att svaret stämmer.

Det är här Robert Bomark har lagt ner tusentals timmar. Bomark Analys AB i Huddinge utvecklar plattformen VisionaryAI, som ska göra bilder, videor, ljudinspelningar och dokument sökbara utifrån innehållet. Bolaget befinner sig i en tidig kommersiell fas, samtidigt som AI sprider sig snabbt i näringslivet. Enligt SCB använde 35 procent av företagen med minst tio anställda AI under 2025, och året innan var andelen 25 procent. Skillnaderna är stora: 31 procent bland små företag och 72 procent bland stora.

Letandet som ingen räknar på

Berättelsen om Bomark Analys börjar med tre scener: ett filmteam som letar efter ett gammalt klipp, en projektledare som försöker minnas i vilket möte ett beslut diskuterades och en medarbetare som vet att svaret finns i någon rapport. "Informationen finns redan", skriver Robert Bomark. Ändå kan det krävas mycket arbete för att få fram den.

Hur mycket tid det rör sig om är svårt att säga exakt. I en undersökning med 12 000 kunskapsarbetare och 200 chefer kom Atlassian fram till att 25 procent av tiden går åt till att söka efter svar. Siffran bör läsas med viss försiktighet. Atlassian säljer själv samarbetsverktyg, och sidan beskriver inte hur undersökningen gjordes. Den pekar ändå på något de flesta känner igen: att hitta rätt tar tid, och den tiden syns sällan i någon budget.

Roten till problemet är att vanlig filsökning bara hittar det någon har skrivit ner. En bild utan beskrivning är tom för en sökruta, och en timslång mötesinspelning går inte att söka i förrän talet har blivit text. Spanska RTVE började redan för några år sedan testa AI som skapar metadata till arkivfiler, med transkribering av ljudet och analys av bildinnehållet. Användarna kunde granska och rätta resultatet i ett webbgränssnitt, vilket är värt att notera: redan där fanns människan kvar i kedjan.

Från pixlar och ljud till något som går att söka i

Innehållssökning är egentligen flera olika tekniker. I VisionaryAI Suite kan arbetet enligt berättelsen omfatta bildbeskrivningar, transkribering av tal, textläsning ur bilder och bearbetning av dokument. Vilka modeller som används framgår inte av berättelsen, men forskningen visar hur området har utvecklats.

För bilder kom ett viktigt steg 2021, när forskare på OpenAI beskrev modellen CLIP, som tränades på 400 miljoner par av bilder och texter genom att gissa vilken bildtext som hörde till vilken bild. Modellen lärde sig av naturligt språk i stället för en fast lista med etiketter. Det är den sortens koppling mellan ord och bild som gör det tänkbart att söka på det Robert Bomark beskriver som "en viss miljö" eller "en synlig detalj".

För tal har svenska användare fått hjälp nära hemmet. KBLab på Kungliga biblioteket har vidareutvecklat OpenAI:s Whisper till KB-Whisper, tränad på omkring 50 000 timmar transkriberat tal, främst från tv-undertexter och riksdagsinspelningar. Enligt KBLab minskade felen på ordnivå med i genomsnitt 47 procent jämfört med Whisper large-v3. Projektledaren Leonora Vesterbacka har framhållit att modellen täcker betydligt fler svenska dialekter och accenter. Siffrorna kommer från utvecklarnas egna tester, och resultatet på en brusig inspelning från ett konferensrum kan bli ett annat.

Transkribering kan dessutom gå fel på ett sätt som är svårt att upptäcka. En studie av OpenAI:s Whisper visade att ungefär en procent av transkriberingarna innehöll hela fraser eller meningar som inte fanns i ljudet. Studien jämförde talare med afasi och en kontrollgrupp, så siffran går inte rakt över på ett företags möten. Lärdomen är ändå att en transkribering är en tolkning av originalet. Därför är det rimligt att Robert Bomark beskriver sökträffarna som "en utgångspunkt för att öppna originalmaterialet".

Svaret är inte värt mer än det går att kontrollera

Den del av plattformen som tar steget från sökning till svar heter AI Knowledge Assistant. Användaren ställer frågor på vanligt språk till sitt analyserade material och får svar med hänvisningar till underlaget. Upplägget liknar det som kallas retrieval-augmented generation, RAG, där en språkmodell först får hämta relevanta texter och sedan formulerar svaret utifrån dem.

Tekniken minskar risken för påhitt men tar inte bort den. När forskare testade juridiska AI-verktyg byggda på RAG visade det sig att verktygen hittade på uppgifter i 17 till 33 procent av fallen. Det var färre än för GPT-4, men långt ifrån de felfria svar som vissa leverantörer utlovat. Juridiska frågor är krävande, så resultatet säger inte vad som gäller för ett företags projektarkiv. Det visar däremot att ett svar med källor inte automatiskt är ett korrekt svar.

Inte heller själva källhänvisningen är någon garanti. I en granskning från 2023 av fyra generativa sökmotorer var bara 51,5 procent av meningarna fullt underbyggda av sina källor, och 74,5 procent av källhänvisningarna stödde den mening de var kopplade till. Systemen har utvecklats sedan dess, men kontrollfrågan är densamma: står det verkligen så i källan?

Det är därför formuleringen i berättelsen är intressant. "AI kan misstolka och dra felaktiga slutsatser", skriver Robert Bomark, och granskningsmöjligheten beskrivs som en del av arbetsflödet. Det krävs också att den möjligheten används. I en enkät till 319 kunskapsarbetare hängde större tilltro till generativ AI ihop med mindre kritiskt tänkande, medan större tilltro till den egna förmågan hängde ihop med mer. Svaren är självrapporterade, men redaktionens slutsats är att en källhänvisning behöver vara lätt att följa. Ju närmare den leder till rätt ställe i originalet, desto större är chansen att någon faktiskt kontrollerar. Tidsangivelser i en inspelning, som berättelsen nämner, är ett exempel.

Valet mellan egen dator och extern tjänst

Robert Bomark kallar möjligheten att arbeta med AI lokalt för en viktig del av sin inriktning. Med en kompatibel konfiguration kan analys och kunskapsunderlag finnas på den egna datorn eller servern. Externa AI-tjänster kan användas när installationen uttryckligen ställs in för det.

Valet har praktisk betydelse. Interna arkiv innehåller ofta sådant som aldrig var tänkt att lämna huset, och i mötesinspelningar och bilder finns ofta personuppgifter. När sådana uppgifter hanteras gäller dataskyddsreglerna även vid generativ AI. Det gäller oavsett var modellen körs, så lokal drift är ingen frisedel. Däremot förändras vissa frågor. Riktlinjerna från Digg och IMY är skrivna för offentlig förvaltning, men IMY menar att de i huvudsak också är vägledande för privata verksamheter. De beskriver att en extern leverantör som utgångspunkt är personuppgiftsbiträde, vilket kräver ett särskilt avtal, och att överföring till länder utanför EU/EES bara är tillåten under särskilda förutsättningar.

Lokala modeller har också blivit mer tillgängliga. KB-Whisper är öppet licensierad och kan köras på egen hårdvara. Priset är att någon måste sköta drift, säkerhet och uppdateringar, och att den tunga analysen behöver en maskin som klarar den. I VisionaryAI ligger den tyngre analysen i Suite, medan iPhone-appen Companion ansluter till den miljön. Den som ska mata in känsligt material i ett AI-system, lokalt eller externt, gör klokt i att först stämma av med en jurist eller dataskyddskunnig rådgivare.

Ett arbetsflöde i taget

Det svåraste för ett ungt bolag i den här branschen är kanske inte tekniken. MIT-rapporten The GenAI Divide fick stor spridning med uppgiften att omkring 95 procent av företagens AI-piloter gav liten eller ingen mätbar effekt på resultatet. Enligt Fortunes genomgång låg problemet främst i hur verktygen integrerades i arbetet, snarare än i modellernas kvalitet. Fortune anger inte hur misslyckande definierades, så siffran bör läsas som en varningssignal och inte som en exakt mätning. SCB ger en svensk parallell: 28 procent av de AI-användande företagen uppger inget särskilt syfte, och bristande intern kompetens är det största hindret bland dem som står utanför.

Mot den bakgrunden går Bomark Analys en försiktig väg. Kunddialogen ska börja med hur arbetet ser ut i dag: "Vad är svårt att hitta? Hur söker man? Vad blir konsekvensen när material saknas?" En utvärdering kan sedan börja med ett enda arbetsflöde och en begränsad mängd material, där man bedömer om användaren hittar relevanta filer och kan kontrollera svarens källor. Bolaget har också en kostnadsfri Community Edition för lokal analys av en bild eller ett dokument åt gången.

För den som funderar på ett liknande projekt går redaktionens lärdomar att sammanfatta i tre frågor:

Vilket material letar vi faktiskt efter, och vad kostar det när vi inte hittar det?
Går det att testa på en liten mängd där vi redan vet vad rätt svar är?
Hur lång är vägen från AI:ns svar till rätt ställe i originalet?

Robert Bomark formulerar kravet kort: "Nyttan behöver visas i verklig användning." För ett bolag i tidig kommersiell fas är det också den mätning som återstår att göra.

Läs mer: Robert Bomark vill göra kunskapen i filerna användbar