De twee voornaamste indicatoren voor de wetenschappelijkheid en de performantie van een model zijn validiteit en betrouwbaarheid. Als organisatie is het uiterst belangrijk dat de meetresultaten gebaseerd zijn op een zo nauwkeurig mogelijke afspiegeling van de realiteit.
Een model is:
- valide als het aan zijn doel beantwoordt, en
- betrouwbaar als de meetresultaten een nauwkeurige afspiegeling vormen van de te meten variabelen.
Een ZebraZone model omvat één of meerdere concepten (bijvoorbeeld het concept "Personeelstevredenheid"), die elk uit meerdere KPI's (Key Performance Indicators) bestaan. Elke KPI wordt gedefinieerd aan de hand van één of meerdere deeldomeinen, factoren genaamd. Factoren ten slotte, bestaan op hun beurt uit één of meerdere items of vragen.
Figuur: Algemene structuur van de ZebraZone modellen
Elk ZebraZone model vertaalt zich in een vragenlijst, waarvan de validiteit en de betrouwbaarheid worden gegarandeerd.
Validiteit
Validiteit wordt omschreven als de mate waarin een meetinstrument aan zijn doel beantwoordt. Een vragenlijst die niet meet wat zij hoort te meten, is waardeloos.
1. Constructvaliditeit
Constructvaliditeit verwijst naar de mate waarin een meetinstrument een niet-observeerbaar concept (bijvoorbeeld "Personeelstevredenheid") meet op de manier waarop het gemeten moet worden. Bij onderzoek naar constructvaliditeit wordt nagegaan of alle aspecten die aan het concept te onderkennen zijn ook correct geoperationaliseerd zijn. De theoretische relaties tussen het concept en andere gerelateerde concepten dienen ook in de data (statistisch) teruggevonden te worden (bijvoorbeeld via correlationeel onderzoek).
ZebraZone beschikt over omvangrijke datasets (bijvoorbeeld N=8290), die toelaten de statistische validering (en cross-validering) van de ZebraZone modellen te waarborgen, o.a. via correlationeel onderzoek, maar ook via Structural Equation Modeling (zie verder bij "Betrouwbaarheid").
2. Inhoudsvaliditeit
Inhoudsvaliditeit is een niet-statistische vorm van validiteit, waarbij een meetinstrument wordt beoordeeld op zijn inhoudelijke correctheid. Men gaat na of een meetinstrument alle facetten van een concept dekt en of de items aldus een representatieve afspiegeling zijn van het te meten concept. Meestal wordt deze vorm van validiteit (subjectief) beoordeeld door een panel van experten, die tot overeenstemming dienen te komen.[1]De inhoudsvaliditeit van de ZebraZone vragenlijsten wordt in eerste instantie gegarandeerd door de manier waarop een vragenlijst ontwikkeld wordt. Meer bepaald wordt door experten in het domein eerst het concept afgebakend, daarna worden specifieke deelgebieden (KPI's en factoren) onderscheiden waarvan de linken met het concept voldoende (theoretisch en statistisch) aangetoond zijn in de wetenschappelijke literatuur. Ten slotte worden voor deze KPI's representatieve items geselecteerd. In tweede instantie wordt de vragenlijst (met opsplitsing in KPI's, factoren en items) kritisch beoordeeld zowel door onderzoekers (uit de praktijk en uit de academische wereld), consultants als HR-verantwoordelijken.
3. Face validiteit
Face validiteit (of indruksvaliditeit) is sterk gerelateerd aan inhoudsvaliditeit, maar is eigenlijk geen validiteit in technische zin. Terwijl inhoudsvaliditeit afhankelijk is van theoretische afwegingen, verwijst face validiteit naar de mate waarin men de indruk heeft dat een model of meetinstrument valide is en het meetinstrument aldus lijkt te meten wat het hoort te meten.
Garantie voor de face validiteit van de ZebraZone vragenlijsten komt vanuit de mening en de talrijke gesprekken van onze onderzoekers, klanten, contacten met de academische wereld, etc.
Betrouwbaarheid
Betrouwbaarheid houdt verband met de accuraatheid en precisie van een meetinstrument. Het heeft te maken met de mate waarin een meting vrij is van toevalsmatige fouten. Het is een noodzakelijke maar onvoldoende voorwaarde voor validiteit. De betrouwbaarheid van een meetinstrument kan op verschillende manieren worden gedefinieerd. Een vaak voorkomende omschrijving ervan is de mate waarin een onderzoek kan herhaald worden en tot eenzelfde resultaat leidt.
Zowel bij de ontwikkeling van een ZebraZone model, als na elke meting binnen een organisatie wordt een betrouwbaarheidsanalyse uitgevoerd. Afhankelijk van het model gebeurt de betrouwbaarheidsanalyse op één van de volgende twee manieren:
- Analyse van de interne consistentie of homogeniteit via correlaties en Cronbach's alpha; of
- Analyse van de totale modelstructuur via structural equation modeling.
[1] Een meetinstrument kan inhoudsvalide zijn maar niet constructvalide, of omgekeerd. Als alle relevante KPI's zijn opgenomen in het meetinstrument (er is een goede selectie gemaakt), maar ze zijn op de verkeerde manier geoperationaliseerd (items meten niet wat ze horen te meten), dan is het instrument inhoudsvalide maar niet constructvalide. Indien alle KPI's correct geoperationaliseerd zijn, maar er ontbreken enkele belangrijke KPI's, dan is het instrument constructvalide maar niet inhoudsvalide.