Beslissingen van rechters: hoe vindt en classificeert Bluetick deze?
Bij Bluetick zijn we erg geïnteresseerd in de nieuwste data science methodes. Daarom neem ik je mee in de wondere wereld van wat er mogelijk is en waarom dit volgens ons belangrijk is voor een juridische zoekmachine. Voor een mens is het namelijk relatief eenvoudig om nuances uit tekst te halen, voor een computer is dit echter een stuk moeilijker. Het onderwerp van deze blog is het vinden en classificeren van beslissingen van rechters.
Waar hebben we het over?
De beslissing van de rechter is de uiteindelijke uitslag van een rechtszaak. Als leek zou je verwachten dat dit een uniform karakter heeft: schuldig of onschuldig. Echter ligt het (uiteraard) niet zo simpel. Er zit veel verschil tussen rechtsgebieden en instanties (rechtbank versus hoge raad) in wat een beslissing is. De Hoge Raad beoordeelt of het recht goed is toegepast door lagere instanties. Zij doet niet inhoudelijk uitspraak, dit is bijvoorbeeld bij een rechtbank wel het geval.
Er zijn meerdere momenten in het zoekproces waar het gestructureerd tonen van beslissingen van rechters waarde kan opleveren voor een gebruiker. Een voorbeeld is om in de resultatenlijst te laten zien of een hoger-beroep is toegewezen of afgewezen. Een ander voorbeeld is om bovenaan een uitspraak weer te geven dat de casus in hoger-beroep behandeld is en direct daarbij wat de uitkomst is geweest.
Hoe leert een computer dit te herkennen?
Zoals ik al zei zijn beslissingen niet uniform. Het is dus complex om uniforme klassen te maken die toepasselijk zijn op alle rechtsgebieden en alle instanties. Daarbij is het voor het algoritme belangrijk om voldoende voorbeelden te verkrijgen die de nuances tussen de verschillende klassen aangeven.
Daarom hebben wij er in dit onderzoek voor gekozen om ons allereerst te richten op de hoogste instanties van Nederland: de Hoge Raad, de Centrale Raad van Beroep, het College van Beroep voor het Bedrijfsleven, en de Raad van State. Deze uitspraken hebben veelal een relatief eenduidige beslissing: het hoger beroep is gegrond, ongegrond, gedeeltelijk gegrond of niet ontvankelijk.
Het classificeren van de uitspraken is gedaan in vier stappen: de eerste stap is het ‘vinden’ en ‘isoleren’ van het hoofdstuk dat de beslissing omvat. Hoe we dit hebben gedaan zal ik in een volgende blog bespreken. Ten tweede hebben we de beslissings-hoofdstuk opgesplitst in losse zinnen, om vervolgen (stap drie) per zin te kijken of deze een indicatie bevat of het hoger beroep gegrond of ongegrond is. Hierbij is er ook een derde klasse gemaakt: ‘overig’. Deze klasse bestaat uit zinnen met een andere beslissing (bijvoorbeeld niet-ontvankelijk) en zinnen met overige informatie (bijvoorbeeld de rechters die de zitting hebben voorgezeten). Als vierde stap is er een zekerheidsscore meegegeven aan elke ‘voorspelling’. Hierdoor kan besloten worden om alleen resultaten aan de eindgebruiker te laten zien wanneer de computer erg zeker is over de voorspelde klasse. In onderstaande video zijn de stappen visueel weergegeven.
Hoe goed werkt het momenteel
De resultaten van dit experiment zijn zeer hoopgevend, bij onze testset classificeert het model het overgrote deel van de uitspraken juist. Het is dan ook de verwachting dat we dit model in de komende periode zullen implementeren in ons product. Er zijn echter wel een aantal limitaties: door het opsplitsen van de zinnen moet het model per zin bepalen of de uitspraak gegrond of ongegrond is geweest. Hierdoor kan het model niet de (eventueel cruciale) context van de rest van de uitspraak meenemen. Verder omvatten de bovenstaande vier instanties maar een beperkt gedeelte van alle rechtspraak. Andere labels en modellen zullen gemaakt moeten worden voor de overige rechtspraak. Echter kan met deze relatief eenvoudige opzet al een belangrijk gedeelte van de beslissingen inzichtelijk gemaakt worden.
Ik hoop dat deze blog een interessant kijkje achter de schermen van (juridische) zoekmachines biedt. Dit is een korte en eenvoudige uitleg over een behoorlijk complex onderwerp en ik ben dus genoodzaakt om (belangrijke) nuances weg te abstraheren. Mocht je meer willen weten over dit onderwerp, verder willen discussiëren of meer informatie willen hebben dan ben ik bereikbaar op thijs.kranenburg@bluetick.nl.
