Automatiserad Insamling av Offentlig Data

Öppenhet är en central princip för det svenska statsförvaltningssystemet. Offentlighetsprincipen innebär att allmänheten har rätt till att granska statens, kommunernas och landstingens verksamhet. Som huvudprincip har varje individ rätt att ta del av de dokument som förvaras hos myndigheterna. Öppna data utgör en viktig aspekt av effektiv och innovativ offentlig förvaltning.  Automatiserad datainsamling kan utgöra en bra lösning för att få tillgång till offentligt data.

I verkligheten fungerar det så att den intresserade parten måste kontakta varje myndighet, kommun, landsting eller domstol separat och begära ut handlingar. Handlingarna man får ut kommer oftast vara i PDF-format, och blir därför ganska tidskrävande vad gäller extraktion och strukturering av den nödvändiga informationen. Myndigheter kan strukturera PDF-filerna olika beroende på kommunen eller regionen som utfärdat dokumentet.

Det finns även offentliga handlingar som ska vara öppna men ligger bakom en ”betalvägg”, då offentliga myndigheter tar ut en administrativ avgift för att släppa informationen.

Automatiserad insamling av offentlig data i andra länder

I olika länder ser automatiserad insamling av offentlig data annorlunda ut. Till exempel är offentlighetslagen i Storbritannien yngre (från 2000), och redan moderniserad för att ta hänsyn till tillgänglighetsaspekter. Många offentliga myndigheter har information tillgänglig på sina webbplatser. Det kräver inte att den intresserade parten ska be varje myndighet separat om en PDF-fil eller specialåtkomst. Det innebär att ”infrastrukturen” för allmän tillgång redan är etablerad, den intresserade parten kan få en enkel tillgång, och myndigheterna behöver inte besväras med att producera PDF-filer på begäran. I vissa fall kan det vara så enkelt som att myndigheten har sökfunktioner på sin hemsida öppna för allmänheten.

Automatiserad insamling kan hjälpa till att få tillgång till offentliga data

Låt oss säga att en kund ser ett värde i att samla in offentlig information för aggregerad analys inom vilken verksamhet de än bedriver. Till exempel kan det vara kontaktinformation till alla socialförvaltningar runt om i Sverige (cirka 290 webbplatser för kommuner). Ett annat exempel är när en kund vill få tillgång till koldioxiddeklarationer som återfinns i bokslut från tusentals kommunala företag. Dessa webbplatser och PDF-filer kan vara strukturerade på helt olika sätt. Att manuellt gå igenom alla dessa webbplatser och filer kan då bli en extremt arbetskrävande uppgift. Scrapingbyrån kan erbjuda en lösning i båda fallen – och hjälpa er att genomföra en automatiserad datainsamling.

PDF scraping i kombination med AI

När volymen är extremt höga och datapunkterna samt datakällorna är mångfaldiga kan man använda AI för att assistera vid datainsamling i PDF-filer.