KORTE EN DUIDELIJKE TIPS VOOR ONDERZOEKSOPDRACHTEN EN -TENTAMENSTOF (HBO/MBO+).

Validiteit.
Eenvoudige uitleg. Aandachtspunten van validiteit. Oplossingen voor problemen met validiteit. Oefenopgaven.

In dit artikel wordt validiteit uitgelegd.

Eenvoudig gezegd: Validiteit gaat over de vraag of de onderzoeker wel de juiste dingen onderzoekt.
(Meten wat je moet weten). Er worden regelmatig fouten gemaakt op het gebied van validiteit.
Het begrip is eenvoudig maar kijk naar de aandachtspunten en dan blijkt dat fouten van validiteit soms heel onopvallend zijn. Is een meting/enquêtevraag niet valide dan is gelijk het onderzoek onbetrouwbaar! (Je hebt dan alles voor niets gedaan).

Voorbeeld 1: Er wordt een onderzoek gedaan naar de mening van kinderen over het internetspel GTA. Voor  het onderzoek wordt een enquête ontwikkeld met de vragen ‘Ken jij het spel GTA?’, ‘Hoe vaak speel je het spel?’, ‘Welk cijfer geef je het spel?’  De enquête wordt verstuurd aan 100 adressen. Stel nu dat niet de kinderen maar de ouders van de kinderen de enquête invullen…. Dan krijg je een probleem met de validiteit. Want de vragenlijst was niet bedoeld voor de ouders. Je krijgt dus antwoorden van de verkeerde personen. Dit noemen we een fout van de EXTERNE validiteit.

Voorbeeld 2: Stel nu dat de drukker van de vragenlijsten een fout maakt in de vragenlijst. Er stond ‘Ken je het spel GTA?’ maar hij maakt ervan ‘Ken je het spel TAG?’.  Dan gaat de vraag dus niet meer over GTA. Er is opnieuw een probleem met de validiteit. Je moest immers onderzoek doen naar de mening over het spel GTA. Je hebt nu de verkeerde vraag gesteld. Dit noemen we een fout in de interne validiteit.

Ik hoor je denken… Dit is allemaal wel heel simpel, hoe kunnen onderzoekers zo stom zijn?! Maar pas op. Deze twee voorbeelden zijn alleen bedoeld als kennismaking met validiteit. Fouten in validiteit sluipen er soms in…

Aandachtspunten

Voorbeeld 3: De gemeenteraad is verdeeld over de komst van een coffeeshop. Daarom heeft men gevraagd om onderzoek te doen hoeveel bezwaar er is onder de bevolking als de coffeeshop er komt. Een valide onderzoeksvraag zou dus zijn: Hoeveel mensen maken bezwaar tegen de komst van de coffeeshop?
De onderzoeker kent het probleem van validiteit. Hij houdt zich precies aan de onderzoeksvraag, Hij formuleert de enquêtevraag als volgt: ‘Maakt u bezwaar tegen de komst van een coffeeshop in de buurt?’ Het onderzoek wordt uitgevoerd en het resultaat: 65% van de bewoners heeft GEEN BEZWAAR. De gemeenteraad wil dus overgaan tot het verstrekken van een vergunning voor de coffeeshop.

De tegenstanders van de komst van een coffeeshop vinden het een onverwachte uitkomst. Ze hadden verwacht dat er meer tegenstand zou zijn. Ze vertrouwen het onderzoek niet en houden zelf een onderzoek. Zij hebben geen onderzoekservaring en weten niets van validiteit. Zij nemen in de enquête de vraag op : ‘Bent u voorstander van de komst van een coffeeshop in de buurt?’. Hun onderzoek heeft als uitkomst dat 65% van de bewoners GEEN VOORSTANDER is van de komst van een coffeeshop. De uitkomst is dus precies het tegenovergestelde! Ze plaatsen snel een artikel in de krant “Nieuw onderzoek wijst uit dat mensen geen voorstander zijn van een coffeeshop!” (… onderzoek van de gemeente deugt niet…. oplichters!…).

Verklaring: Er zit een fout in de vraagstelling van het tweede onderzoek. Er is niet GEMETEN wat er gemeten had moeten worden. Het tweede onderzoek is dus niet valide. De gemeenteraad had namelijk als opdracht gegeven om te meten hoeveel mensen BEZWAAR maakten. (Vraagstelling 1 dus). De onderzoeker heeft zich daar gewoon aan gehouden.

Hoe komt het dan dat er een andere uitkomst is?
Er waren veel bewoners die het helemaal niets uitmaakte of er wel of niet een coffeeshop kwam. Als je de vraag formuleert als in enquête 1 dan kruisen deze mensen aan dat ze GEEN BEZWAAR hebben (want het maakt ze niets uit). Een gevolg is dat deze stemmen opgeteld worden bij de mensen die geen bezwaar hebben. Als je de vraag formuleert zoals in enquête 2 dan kruisen deze mensen aan dat ze GEEN VOORSTANDER zijn (want het maakt ze niets uit). Nu worden de stemmen van deze mensen dus opgeteld bij de NIET VOORSTANDERS.

Validiteit kan dus gaan om heel kleine verschillen in vraagstelling.

Overigens had het onderzoek ook meer NEUTRAAL opgezet kunnen worden. Bijvoorbeeld door te vragen Wat is uw mening over de komst van een coffeeshop? Antwoordmogelijkheden: Ik ben voorstander /  Ik ben niet voor en niet tegen / Ik ben tegenstander. Maar dat was niet de opdracht van de gemeenteraad aan de onderzoeker.

Voorbeeld 4: Een ondernemer wil weten of de gasten tevreden zijn over zijn Chinees-Indische keuken. Twee studenten doen onderzoek. De ene student maakt een schriftelijke enquête met de vraag “Hoe lekker vindt u onze Chinees-Indische gerechten?” (Antwoordmogelijkheden: Heel lekker / Lekker / Niet lekker / Helemaal niet lekker).
De andere student stelt de enquêtevraag persoonlijk. Omdat hij haast heeft om voldoende enquêtes af te nemen stelt hij de volgende vraag “Hoe lekker vindt u onze Chinese gerechten?” (Antwoordmogelijkheden: Heel lekker / Lekker / Niet lekker / Helemaal niet lekker).
Student 1 krijgt 12% klanten die de gerechten heel lekker vinden.
Student 2 krijgt 25% klanten die de gerechten heel lekker vinden.

Hoe kan dat?
Er is hier opnieuw een VALIDITEITSFOUT. Het onderzoek moest gaan over de Chinees-Indische keuken. (Dus zowel de Chinese als de Indische gerechten). De 2e student krijgt andere resultaten omdat in zijn vraag niet is meegenomen wat men vindt van de Indische gerechten. (De Indische gerechten zijn niet zo lekker maar door de afwijkende vraagstelling wordt dit dus niet meegenomen in zijn vraag).

Overigens had het onderzoek VALIDE geweest als de studenten er twee vragen van hadden gemaakt: Wat vindt u van de Chinese gerechten? Wat vindt u van de Indische gerechten? Dan was het duidelijker geweest voor de klanten en dan was er beter gemeten wat er gemeten moest worden.

.

Oplossingen voor validiteitsproblemen

1. Vermeld het bij de Resultaten: “Door een foute formulering van vraag 12 is er een interne validiteitsfout ontstaan”. Vermeld het in het hoofdstuk Discussie: “De fout in vraag 12 heeft gezorgd voor een probleem in de interne validiteit. Hierdoor ontbreekt in het onderzoek een conclusie over deelvraag 3. Dit had geen gevolgen voor de conclusie van het onderzoek. De andere deelvragen en de aanvullende interviews hebben voldoende gegevens opgeleverd om het onderzoek toch goed af te ronden. Alleen is er nu minder bekend over het aantal klanten dat het product gebruikt”.
2. Bespreek de mogelijkheid om de onderzoeksvraag aan te passen. Soms gaat het om een kleine fout en kan je met een kleine aanpassing van een deelvraag het probleem repareren.
Voorbeeld: De deelvraag luidde:  “Wat is de naamsbekendheid van product ABC?” Maar de onderzoeker heeft alleen de huidige klanten geenquêteerd (en geen potentiele klanten). Een aanpassing van de deelvraag zou zijn: “Wat is de naamsbekendheid van product ABC onder de huidige klanten?” 
3. Ondervertegenwoordiging. Wanneer er naar verhouding te weinig mannen hebben meegedaan aan het onderzoek dan zou je kunnen besluiten om ‘weging’ toe te passen. Weging is een functie van SPSS. Het betekent eenvoudig dat je elk antwoord van een mannelijke respondent voor 1,5x laat meetellen in plaats van 1x. Stel dat je 300 enquêtes hebt afgenomen en je wilde een verdeling van 50% man en 50% vrouw. Echter er hebben 250 vrouwen meegedaan en slechts 50 mannen.
Dan kan je in SPSS aangeven dat het antwoord van een mannelijke respondent 3x mee moet tellen en die van de vrouwen 0,6 keer. [want 3 x 50 = 150 en  0,6 x 250 = ook 150]

Oefenopgaven
In onderstaande voorbeelden moet je steeds als antwoord kiezen
A. Interne validiteits fout
B. Externe validiteits fout
C. Geen fout

Vraag 1. Een onderzoek naar de gebruiksvriendelijkheid van een Rollator wordt verstuurd aan de leerlingen van een basisschool?
Vraag 2. In een onderzoek naar de klanttevredenheid voor een pop-evenement is de volgende enquêtevraag opgenomen ” Hoe kom je het liefst naar pop-evenementen?”
Vraag 3. Een veldwerker neemt op een dag 150 enquêtes af onder migranten. Een van de vragen is “Wat vindt u van de complexiteit van de opleidingstrajecten?”.
Vraag 4. Bij een onderzoek onder 100 consumenten naar de smaak van pindasaus: Is men per ongeluk vergeten om het vakje ‘weet niet’ op te nemen. De onderzoeker heeft nu een dataset met 100 antwoorden varierend van lekker tot vies maar er zitten dus formulieren tussen van respondenten die helemaal niet weten hoe het smaakt….

Antwoorden: 1.b; 2.a; 3.a; 4.b
(Vraag 3: Teveel moeilijke woorden voor deze doelgroep zal leiden tot meetfouten als gevolg van de manier van vraagstelling).

The Research Company BV is een full-service onderzoeksbureau dat u kunt inschakelen voor onderzoekswerkzaamheden. De educatieve afdeling van Research Company deelt kennis en ervaring met studenten. Zij profiteren van de duidelijke artikelen over onderzoekstheorie, methoden en technieken en gratis hulpmiddelen zoals de gratis software voor online enquêteren en Rekenhulp om steekproefomvang, nauwkeurigheid en betrouwbaarheid te berekenen.

(Er is veel zorg besteed aan deze uitleg. Het is begrijpelijk geschreven met duidelijk voorbeelden. Maandelijks lezen 4000 HBO (en WO) studenten een of meer van de artikelen van Research Company. Als je geholpen bent met dit artikel dan kun je andere studenten ook een beetje helpen door het artikel te delen in je netwerk).