Op onze website staan verschillende cases. Projecten en oplossingen uit het verleden waar we met veel plezier aan werkten. Hoewel ze allemaal verschillen, lijken ze in één opzicht sterk op elkaar en dat is de gehanteerde methodiek.
We werken bij al onze projecten volgens een vast stappenplan. We starten met een analyse waarin we in kaart brengen welke factoren ten grondslag liggen aan het probleemgedrag. Daarna selecteren we kansrijke gedragsveranderingstechnieken en implementeren we een interventie. Tot slot voeren we een effectmeting uit om te bekijken of onze oplossing succesvol is of niet.
We krijgen wel eens de vraag of een effectmeting altijd nodig is. Op een gegeven moment heb je zo veel ervaring met gedragsvraagstukken dat je intuïtief weet wat wel en niet effectief is toch? Helaas is het zelden zo simpel.
In dit blog laten we zien:
- waarom je niet altijd kunt vertrouwen op je gevoel;
- waarom effectmetingen een essentieel onderdeel zijn van ons werk;
- hoe je zelf een effectmeting kan uitvoeren.
Scared Straight
Het is 2 november 1978 als miljoenen Amerikanen aan de buis gekluisterd zitten. Ze bekijken een documentaire over tieners die in aanraking zijn gekomen met justitie. De tieners volgen een speciaal “programma” dat ontworpen is om hen af te schrikken in de toekomst weer de wet te overtreden. De documentaire wordt uitgezonden op een moment dat jeugdcriminaliteit een steeds groter wordend probleem is in de Verenigde Staten.
In de documentaire, genaamd ‘Scared Straight’, zien we hoe zeventien tieners rondgeleid worden in een gevangenis. Ze ervaren hoe het is om in een cel te zitten en worden bang gemaakt door de verhalen van gevangenen. Die verhalen zijn bepaald niet mals; zo horen de tieners dat geweld en seksuele intimidatie bij het leven van alledag horen in de gevangenis.
Waar de tieners voorafgaand aan het programma nog stoer vertellen over hun misdaden, lijken ze diep geraakt na afloop van de rondleiding. Van de zeventien tieners overtreedt slechts één de wet in de maanden die volgen na het bezoek aan de gevangenis. De rest lijkt zo geschrokken te zijn, dat ze op het rechte pad zijn beland. Letterlijk scared straight dus.
Niet lang nadat de documentaire op televisie is uitgezonden, wordt het programma in verschillende staten van het land geïntroduceerd. Dat heeft enerzijds te maken met de enorme bekendheid die het programma verworven heeft dankzij de documentaire, maar anderzijds ook met de kosten. Die blijken namelijk erg laag te zijn, omdat het programma door gevangenen wordt opgezet.
Gedurende de jaren 80 en 90 nemen daarom steeds meer tieners deel aan een Scared Straight programma. Eind goed al goed zou je zeggen…
Effectief?
Enige tijd na het verschijnen van de documentaire kwam de eerste kritiek op het programma. James Finckenauer, een professor op de Rutgers School of Criminal Justice, voerde een test uit waarbij hij twee groepen tieners volgde. Eén groep deed mee aan het Scared Straight programma en de andere niet. Wat bleek? De tieners die het programma volgden, waren eerder geneigd in de toekomst de wet te overtreden dan de tieners die het programma niet volgden. Ook meer recente studies wijzen uit dat programma’s als Scared Straight vaak het tegenovergestelde effect bereiken van wat ze beogen[1][2]. Ondanks dit bewijs is het programma decennialang uitgevoerd. Hoe heeft dit kunnen gebeuren?
Sturen op gevoel
Het antwoord heeft met verschillende factoren te maken. Allereerst zijn wij mensen gevoeliger voor verhalen dan voor droge cijfers . Een goede documentaire is dus overtuigender dan een saai wetenschappelijk onderzoek. Daarnaast sluit een programma als Scared Straight goed aan op de denkwijze die veel mensen hadden (en wellicht nog steeds hebben) over de jeugd: ‘We moeten niet zo soft met onze jongeren omgaan, zo leren ze het nooit’. Met andere woorden: voor veel mensen voelt het programma intuïtief aan als een effectief middel.
Die laatste valkuil komt vaker voor en dat is de reden dat we hier wat verder op inzoomen. Een voorbeeld: in Scandinavische landen raken jonge onervaren autobestuurders vaak betrokken bij ongelukken. Dat heeft met name te maken met de zware weersomstandigheden in de winter. Reden genoeg voor de overheid om hier iets aan te doen. Een oplossing werd al gauw gevonden: jonge autobestuurders krijgen een slipcursus, zodat ze beter leren omgaan met de slechte omstandigheden in de winter. Deze interventie lijkt op het eerste gezicht goed in elkaar te steken. Hoe meer controle jonge bestuurders hebben over hun auto, hoe minder ongelukken, toch? Ook hier wezen de resultaten iets anders uit. Jongeren die een cursus volgden, hadden na afloop een grotere kans om brokken te maken[3]. De waarschijnlijke reden? Ze kregen door de cursus meer zelfvertrouwen, wat leidde tot hogere snelheden dan geoorloofd.
Beide voorbeelden zijn helaas niet uitzonderlijk. De wereld zit vol met op het eerste gezicht goede initiatieven die uiteindelijk de plank mis blijken te slaan. Op zich is dat geen probleem; complexe problemen los je zelden in één keer op, dus vallen en opstaan hoort erbij. Wat echter wel een probleem is, is dat we soms te veel vertrouwen op ons gevoel waardoor we veel te laat ontdekken dat een interventie of initiatief verkeerd uitpakt. En dat heeft soms grote gevolgen.
Meten is weten!
Gelukkig is er een relatief simpele manier om deze ongewenste effecten te voorkomen. Door een interventie eerst op kleine schaal te testen, kom je er al gauw achter of je het beoogde effect behaalt. Hieronder vertellen we je hoe je zo’n test of effectmeting kunt uitvoeren.
De beste methode
De meest betrouwbare manier om een interventie te toetsen, is door een goede effectmeting op te zetten. Je onderwerpt eerst een klein deel van jouw doelgroep aan je interventie en je meet wat het effect is. Pas wanneer je tevreden bent over het effect, ga je je interventie opschalen naar de rest van jouw doelgroep. Een goede effectmeting bestaat in ieder geval uit de volgende onderdelen:
- Een concreet doelgedrag
- Een voor- en nameting
- Een interventie- en controlegroep
Het kiezen van een concreet doelgedrag en de doelgroep
Om een goede effectmeting te doen, moet je eerst precies weten wat je beoogt met je interventie. Dat klinkt simpel, maar je kunt niet concreet genoeg zijn. Je kunt bijvoorbeeld zeggen: ‘Het doel van mijn interventie is dat mensen minder rommel op straat achterlaten’. Een nobel doel, maar nog niet erg concreet. Want heb je het dan bijvoorbeeld over vuilniszakken die naast de container zijn geplaatst door omwonenden, of over lege chipszakken die scholieren laten slingeren bij een bankje?
Pas als je weet op welke doelgroep jouw interventie zich richt en op welk concreet doelgedrag, kun je het effect meten. Je kunt bijvoorbeeld tellen hoeveel vuilniszakken er iedere dag door buurtbewoners naast een container worden geplaatst. Kortom: een goed gekozen doelgedrag kun je meten in termen van meer of minder.
Een voor- en nameting
Laten we doorgaan met het voorbeeld van bijplaatsingen: jij hebt een flyercampagne bedacht met slimme gedragsveranderingstechnieken, die buurtbewoners moet stimuleren om hun vuilniszak netjes in de container te plaatsen. Je verwacht dat de flyer effectief is, maar voordat je deze op grote schaal verspreidt, test je de flyer op kleine schaal. Hoe pak je dat aan?
Voordat je de flyer uitdeelt, voer je een zogeheten voormeting uit. Daarmee breng je de huidige situatie in kaart. Gedurende vier weken tel je iedere dag hoeveel vuilniszakken naast de container worden geplaatst. Uit je gegevens blijkt dat er iedere dag gemiddeld 3 zakken naast de container staan. Oei!
Nu je de situatie in kaart hebt gebracht, is het tijd voor jouw interventie. Je deelt de flyers uit aan alle buurtbewoners. Je hoopt dat ze na het lezen van de flyer overtuigd zijn geraakt van het belang van een schone buurt en dat ze geen vuilniszakken meer naast de container plaatsen.
Om te testen of dit daadwerkelijk het geval is, voer je de nameting uit. Deze nameting is hetzelfde opgezet als de voormeting, met natuurlijk als verschil dat deze na de interventie wordt uitgevoerd in plaats van ervoor. Gedurende vier weken tel je weer iedere dag hoeveel vuilniszakken naast de container worden geplaatst. Wat blijkt? Nu kom je uit op gemiddeld 1 bijplaatsing per dag. Wat een succes, de flyers werken! Toch?
Een interventie- en controlegroep
Niet helemaal. Hoewel je een duidelijke afname constateert in de hoeveelheid bijplaatsingen, zou het te kort door de bocht zijn om te concluderen dat de buurtbewoners hun leven beterden na het lezen van de flyer en daarom minder bijplaatsten. Er zijn namelijk alternatieve verklaringen mogelijk. Denk bijvoorbeeld aan een scenario waarbij er tijdens de voormeting een groot stadsfeest plaatsvond dat leidde tot meer afval dan tijdens de nameting. Dit soort vervelende factoren noemen we tijdseffecten. Zo tel je bijvoorbeeld in de zomer geregeld meer afval op straat dan in de herfst, simpelweg omdat mensen in de zomer meer buiten leven.
Hoe kun je deze vervelende tijdseffecten voorkomen? Daarvoor heb je een controlegroep nodig. Dit is een ander deel van jouw doelgroep waarbij je ook een voor- en nameting doet, maar geen interventie uitvoert. De truc is dat deze controlegroep zoveel mogelijk moet lijken op de interventiegroep. Op die manier kun je de eventuele gevonden verschillen tussen de resultaten van beide groepen toeschrijven aan de interventie, en niet aan andere factoren zoals tijdseffecten.
Hoe ziet de ideale effectmeting eruit in ons voorbeeld van bijplaatsingen? Je zorgt er allereerst voor dat je meet in een periode waarin de kans op tijdseffecten beperkt is. Vervolgens kies je twee buurten uit die een vergelijkbaar afvalprobleem hebben en die qua kenmerken veel op elkaar lijken. Denk bijvoorbeeld aan een vergelijkbare leeftijdsgroep, gezinssamenstelling en soort woning. Bij beide buurten voer je een voormeting uit. De interventie, oftewel het uitdelen van flyers, pas je slechts in één buurt toe. De nameting doe je weer bij beide buurten. Daarna vergelijk je de resultaten. Zie je in de buurt met flyers (de interventiegroep) een afname in het aantal bijplaatsingen, terwijl het aantal bijplaatsingen in de buurt zonder flyers (de controlegroep) gelijk blijft? Dan is de kans heel groot dat het gevonden effect wordt veroorzaakt door jouw interventie. Goed werk!
Een kleine test
De methode die we hierboven beschreven is de meest betrouwbare manier om jouw interventie te testen, voordat je deze op grote schaal uitvoert. Soms is deze methode echter niet haalbaar, bijvoorbeeld vanwege tijdsgebrek. In dat geval zijn er alternatieve manieren om jouw interventie te toetsen. Deze zijn niet waterproof, maar ze geven in ieder geval een indicatie. Hieronder geven we een aantal manieren weer.
Interviews
Je kunt jouw interventiemateriaal voorleggen aan een aantal leden van jouw doelgroep. Leg iemand bijvoorbeeld een flyer voor en stel diegene daarna een aantal vragen, zoals:
- Wat was het eerste dat je opviel toen je deze flyer bekeek?
- Wat vind je van de afbeeldingen of foto’s op de flyer?
- Is duidelijk wat er van je wordt verwacht?
- Zijn er bepaalde drempels die je tegenhouden dit te doen?
- Zijn er bepaalde zinnen of woorden onduidelijk?
- Ontbreekt er volgens jou bepaalde informatie op de flyer?
- Voor welke doelgroep denk je dat deze flyer is bedoeld?
Het antwoord op deze vragen helpt je al gauw jouw flyer te verbeteren, waardoor de kans op ongewenste effecten afneemt. Overigens zijn dit soort pretests altijd een goede stap om uit te voeren, zelfs als je daarna nog een effectmeting doet.
Vragenlijsten
Als je denkt dat je middels interviews geen representatief beeld krijgt van de doelgroep, kun je dezelfde soort vragen stellen met een vragenlijstonderzoek. Op die manier bereik je een groot deel van jouw doelgroep. Door een mix te maken van open en meerkeuzevragen kom je erachter welke onderdelen van jouw interventie in orde zijn en welke onderdelen nog wat meer werk vergen .
A/B-testen
Wellicht ben je tevreden over jouw interventiemateriaal, maar vind je het moeilijk een keuze te maken tussen verschillende varianten. In dat geval helpt het om de verschillende varianten voor te leggen aan een aantal leden van jouw doelgroep. Je kunt dan vragen welke hun voorkeur geniet en waarom. Dat kan in een gesprek, maar ook middels een online vragenlijst. Dit heet A/B-testing en het geeft je inzicht in de sterke en minder sterke punten van jouw interventiemateriaal.
Het belang van meten
Hopelijk hebben we je na het lezen van dit blog overtuigd van het belang van meten. Hoe vanzelfsprekend of logisch een interventie ook lijkt, je kunt nooit van tevoren rekening houden met alle mogelijke uitkomsten en effecten. Daarom raden we je aan altijd je interventie te testen voordat je deze uitrolt op grote(re) schaal. Hiermee zeggen we overigens niet dat je je gevoel links moet laten liggen. Je gevoel is vaak een goed startpunt en om die reden heel waardevol. Het moet echter niet het eindpunt zijn.
[1] Petrosino, A., Turpin-Petrosino, C., & Buehler, J. (2002). “Scared Straight” and other juvenile awareness programs for preventing juvenile delinquency. Cochrane Database Syst Rev. (2): CD002796.
[2] Lilienfeld, SO. (2005). Scientifically Unsupported and Supported Interventions for Childhood Psychopathology: A Summary. PEDIATRICS 115; 761-764.
[3] Katila, A., Keskinen, E., Hatakka, M., & Laapotti, S. (2004). Does increased confidence among novice drivers imply a decrease in safety? The effects of skid training on slippery road accidents. Accident Analysis & Prevention, 36, 543-550.
