Is het nu een 6 of een 9? De uitdagingen van menselijke interpretatie bij tekstanalyse

In onze eerste blogpost kon je al enkele interessante inzichten lezen van ons onderzoek. In de tweede blogpost ontdekte je hoe we stap voor stap de ‘beslissingsboom’ voor het labelproces van woorden toepasten. Maar daar kon je ook lezen dat het niet allemaal ‘van een leien dakje’ liep. Een van de grote uitdagingen was de annotatie van de teksten. Met annotatie bedoelen we het manueel labelen van bepaalde woorden in teksten zodat dit door slimme systemen kon geanalyseerd worden. 

Want wat bleek?  Bij de annotatie (deze manuele tagging van woorden) bleek er sprake van een verschillende menselijke interpretatie bij de analyse van woorden. Of anders gezegd: de drie onderzoekers die de analyse deden, kwamen niet altijd tot dezelfde labeling van woorden met betrekking tot betrokkenheid.   

Daarom delen we graag met jou enkele opvallende verschillende interpretaties van betrokkenheid die we tijdens ons onderzoek verzamelden en die mogelijks ook jou kunnen helpen in jouw tekstanalyse. Hierbij ontdek je enkele concrete ‘dilemma’s’ waar we voor stonden toen we volop aan het testen waren en welke oplossingen we hiervoor vonden.

Dilemma 1: kennisdeling of faciliteren? 

Een eerste dilemma waarmee we geconfronteerd werden, was het onderscheid tussen twee functies van interne communicatie: namelijk ‘kennisdeling’ versus ‘faciliteren’.  

Bijvoorbeeld bij onderstaande voorbeeld was de grens vaag: is het opnemen van een algemeen bericht in een nieuwsbrief een vorm van ‘kennisdeling’ of ‘faciliteren van werkprocessen’? Het was al snel duidelijk dat beide opties perfect te verantwoorden waren.  

Maar aan de andere kant moesten we hier wel een duidelijke keuze in maken om in de toekomst consistent en consequent hetzelfde label toe te kennen. 

We kozen ervoor om de afbakening voor de functie van ‘kennisdeling’ te leggen op het feit dat er GEEN concrete, afgebakende actie aan gekoppeld was voor de ontvanger van de mail. 

De mededeling in bovenstaand voorbeeld dat er een algemeen bericht in de nieuwsbrief zou verschijnen, vereiste geen actie van de ontvanger en kreeg dus het label ‘kennisdeling’.  

Die ‘switch’ op vlak van mindset verliep best wel snel, want bij een volgende uitwisseling, bleek dat alle testers onderstaand voorbeeld wel consequent voor ‘kennisdeling’ als label gekozen hadden en de toepassing van onze nieuwe afspraak dus bijzonder vlot verliep. 

Dilemma 2: bedanken: welke functie van interne communicatie is dat? 

Een ander dilemma waar we een keuze in moesten maken, was de labeling van bedankingen. Is bedanken een vorm van  faciliteren van het werkproces? Of toch eerder het label ‘verbinden’ van medewerkers met elkaar? 

Ondanks het feit dat de context hier een belangrijke factor in kan zijn, was het dilemma minder complex om op te lossen dan het vorige dilemma.  

Want ondanks de verschillende interpretaties, merkten we na enige reflectie al snel dat ‘bedankingen’ een erg sterke focus hebben op het verbinden van medewerkers met elkaar. Daarom dat ‘bedankingen’ heel snel als ‘verbinden’ gelabeld werden.  

Dilemma 3 

In het eerste dilemma zag je al dat de labels ‘kennisdeling’ en ‘faciliteren van werkprocessen’ dicht bij elkaar lagen. De verfijning die we in dilemma 1 toevoegden, was al een heel grote sprong vooruit. Maar toch werden we opnieuw uitgedaagd om verder te verfijnen. (zie zin op lijn 2 in onderstaand voorbeeld). 

In dilemma 1 zag je al dat er een concrete actie gekoppeld moest zijn voor de ontvanger van de mail om het label ‘faciliteren’ te krijgen. Maar met bovenstaand voorbeeld vonden we dit minder duidelijk en kwamen er opnieuw twijfels bij deze annotatie. 

Om het onderscheid tussen ‘kennisdeling’ en ‘faciliteren’ nog verder te verfijnen, kozen we ervoor dat bij het label ‘faciliteren’ nu telkens – ook enkel in theorie - een concrete actie verwacht kon worden van de ontvanger van deze mail.  

In bovenstaand voorbeeld was er geen directe actie nodig, maar dat zou wel het geval kunnen geweest zijn. Bijvoorbeeld in het geval als er wel wijzingen waren, zou er een actie voor de ontvanger kunnen geweest zijn. 

Daarom kreeg deze zin toch het label ‘faciliteren’, ondanks het feit dat er in dit geval geen concrete actie verwacht werd.