De vijf meest gestelde vragen over de relevantie van Bluetick
Hoe bepaalt Bluetick de relevantie en hoe betrouwbaar zijn de resultaten van deze AI-tool voor advocaten en fiscalisten? Dit zijn slechts twee van de vragen die Thijs regelmatig om de oren vliegen. De hoogste tijd dus om de vijf meest gestelde vragen rondom de relevantie van onze AI-tool, die ook geïntegreerd is in Rechtsorde van SDU, te bespreken.
Onbekend maakt onbemind?
Kunstmatige intelligentie oftewel Artificial Intelligence (AI) is een term die spannend klinkt. In de praktijk zien wij zowel nieuwsgierigheid als wantrouwen. Dat is te herleiden naar onbekendheid en dus onwetendheid. Maakt onbekend onbemind? In ons geval (gelukkig!) niet. Onbekend maakt nieuwsgierig en schept vragen. Vraagstukken die je, met de juiste antwoorden, kunt wegnemen. Op welk gebied ons de meeste vragen worden gesteld? Dat is toch wel de relevantie en betrouwbaarheid van Bluetick. Dus, hup, tijd om ze te bespreken.
Vraag #1: Hoe belangrijk is relevantie voor Bluetick?
Het is voor advocaten en fiscalisten lastig om een zoekopdracht helder te formuleren in een paar zoektermen. Bluetick biedt voor juristen een nieuwe vorm van zoektechnologie. Het is een kunstmatige intelligentie-tool, die tijdens research naar jurisprudentie de intentie van je zoektocht probeert te achterhalen. Uitspraak na uitspraak geven wij relevantie. Relevantie is onze basis.
Vraag #2: Hoe bepaalt Bluetick de relevantie?
Wij zijn gestart met een grootschalig onderzoek onder potentiële juridische gebruikers, met als belangrijkste vraag: ‘Wat is relevant voor jou als het gaat om het vinden van de juiste jurisprudentie?’ We wilden antwoord krijgen op de vraag: wat maakt uitspraken vergelijkbaar? Wat de juristen aangaven, was dat uitspraken voor hun zoekopdracht relevant zijn als:
- uitspraken dezelfde overwegingen bevatten;
- uitspraken dezelfde wetten bevatten;
- uitspraken uit hetzelfde rechtsgebied komen;
- de rechter vergelijkbaar oordeelt;
- uitspraken in hetzelfde commentaar van uitgevers worden genoemd, inclusief de bijbehorende documenten;
- uitspraken vergelijkbare feiten bevatten.
Op basis hiervan is een model gemaakt. Dit model kijkt naar al deze aspecten om een resultatenlijst voor de jurist te bepalen. Hierbij trekken wij uitspraken die niet op elkaar lijken uit elkaar. Uitspraken die vergelijkbaar zijn trekken wij juist naar elkaar toe. Als een gebruiker een bepaalde overweging die wij tonen interessant vindt, selecteert hij deze overweging en krijgt hij uitspraken te zien waarin dezelfde (of vergelijkbare) zoektermen te vinden zijn. Om uit te leggen hoe we dit doen, geef ik altijd het voorbeeld van een landkaart.
De relevantiebepaling als een landkaart
Stel je een landkaart voor, waarop iedere uitspraak een stad of dorp is. Waarop je zoekt, bijvoorbeeld een betreffende uitspraak, staat op de kaart als Utrecht. Woerden is dan misschien vergelijkbaar. Groningen niet en Limburg niet. Amersfoort is vergelijkbaar met Utrecht, maar een andere richting op. Amersfoort wordt dus niet getoond wanneer Woerden de zoekopdracht is.Tussen iedere uitspraak zoekt de tool naar vergelijkbaarheid. Woerden scoort 98% met Utrecht en wordt dus getoond.
Uitdaging is: hoe bepaal je welke uitspraak waar op de landkaart komt te staan? Daar komt ons AI-model om de hoek kijken. Wij weten wat een jurist relevante uitspraken vindt en we hebben data voorhanden. Denk aan alle wetsartikelen en commentaren van bijvoorbeeld SDU. Met die data is het algoritme getraind en wordt de relevantie bepaald.
Vraag #3: Hoe actueel zijn de zoekresulaten?
Iedere nacht draaien onze computers om te kijken naar nieuwe uitspraken, struinend naar onder andere wetsartikelen, rechtsgebieden en onderwerpen. We halen de relevante tekst eruit en bepalen waar deze (denk aan de landkaart) komt te staan. We classificeren daarbij bijvoorbeeld welke paragrafen een rechtsoverweging zijn.
Praktijkervaring van Daan Holtus (Viotta Advocaten in Amsterdam)
Voor Daan kan het soms lastig en tijdrovend zijn om zijn zoekopdracht in enkele zoektermen uit te drukken. Hierdoor blijft hij lang zoeken, zonder het gevoel te krijgen om echt verder te komen. Daan legt uit hoe hij dit probleem oplost met hulp van Bluetick: “Als je een uitspraak hebt gevonden die jouw vraag redelijk goed beantwoordt, kun je in die zaak een overweging selecteren. Als je dan op het zoek-icoontje klikt, zoekt Bluetick voor jou naar zaken die niet helemáál overeenkomen, maar waarbij wel zoveel mogelijk van de inhoud van die overweging terugkomt.” Je specificeert je zoekopdracht steeds meer, maar je loopt niet spaak in je zoektocht.
Vraag #4: Hoe laat je vergelijkbare overwegingen zien?
Om een collectie van jurisprudentie op te bouwen is het vinden van uitspraken met vergelijkbare overwegingen belangrijk. Dit helpt om je standpunt sterker te maken, doordat je meer uitspraken vindt die beter bij de feiten van je casus aansluiten. Ook kunnen deze jouw standpunt ondersteunen, of juist onderuithalen. Omdat we deze vraag vaak krijgen, schreven we hierover al eens eerder een blog waarin we ingaan op het makkelijk zoeken op de betekenis van een overweging, in plaats van op exacte verwoordingen of zoektermen.
Vraag #5: Hoe betrouwbaar is de relevantie van Bluetick?
Deze vraag beantwoord ik altijd met: ‘Probeer het zelf en ervaar of je dingen mist of juist dingen vindt die je anders niet had gevonden.’ Gebruikers koppelen terug dat zij in sommige gevallen de relevantie van de resultaten begrijpen, maar dat deze – voor de betreffende zaak - niet bruikbaar zijn. Wat voor de ene casus relevant is, is het voor een andere misschien niet. Hoe betrouwbaar is een keyword search? Zoek je op “staking boeren” dan vind je alleen resultaten met letterlijk die zoektermen. Met Bluetick vind je ook alle jurisprudentie met relevante zoektermen zoals “staking landbouw”. Met Bluetick vind je ook jurisprudentie waarin andere woorden worden gebruikt om hetzelfde onderwerp te beschrijven.
Wij faciliteren volledigheid, want geen enkele advocaat of fiscalist wil iets missen. Om volledig te zijn, geeft de tool resultaten die soms onbruikbaar zijn, maar dat heeft niets met betrouwbaarheid te maken. Maar zeg nu zelf: hoe erg is het als de lijst met relevante uitspraken lang én interessant is?
