Stichting Benchmark GGZ

Toon het menu Verberg het menu
Benchmarken

Hier vindt u uitleg over wat benchmarken is, welk onderzoek wordt gedaan om de benchmark te verbeteren, welke trainingen SBG aanbiedt voor het gebruik van de benchmarkgegevens en welke pilots SBG met het GGZ veld uitvoert.

Wat is de zeggingskracht van de benchmark?

Laatst gewijzigd op: 23 april 2018

Een veel gestelde vraag is wat “de zeggingskracht” van de benchmark is? “Zeggingskracht” is een wat ambigue term en kan twee betekenissen hebben.

Zeggingskracht in engere zin: wetenschappelijke validiteit

Laatst gewijzigd op: 15 december 2017

SBG toont behandeluitkomsten met het achterliggende idee dat deze samenhangen met de kwaliteit van zorg. Maar laten de gerapporteerde cijfers wel overeenstemming zien met datgene wat we willen weten? Volgens deze benadering is de zeggingskracht van de benchmark gelijk aan de mate waarin verschillen in uitkomsten zijn toe te schrijven aan verschillen in kwaliteit. Een hoge mate van zeggingskracht biedt de mogelijkheid op basis van de benchmarkcijfers conclusies te trekken over de kwaliteit van de geboden zorg.

Deze objectieve interpretatie van “zeggingskracht” hangt sterk samen met de wetenschappelijke vraag naar de validiteit. Er zijn verschillende soorten van validiteit, afhankelijk van de vraag wat je precies met de data wilt doen. Voor de zeggingskracht van de SBG benchmark zijn vooral de inhoudsvaliditeit en constructvaliditeit van belang. Maar ook externe validiteit is een belangrijk begrip voor benchmarken.

Inhoudsvaliditeit gaat over de mate waarin de behandeluitkomst een goede afspiegeling is van de kwaliteit van de zorg. Met het bepalen van de meetdomeinen wil SBG daarin voorzien. Een vaak gehoorde kritiek is dat de uitkomst van de behandeling een te smalle basis zou zijn om kwaliteitsverschillen in de GGZ aan af te meten. Het bepalen van de juiste meetdomeinen is van direct belang voor de inhoudsvaliditeit. Een behandeluitkomst kan nog zo’n goede afspiegeling zijn van bijvoorbeeld de reductie in klachten, maar wellicht is reductie in klachten een te beperkte invulling van het begrip kwaliteit van zorg en zal er ook naar andere indicatoren gekeken moeten worden (behandelen volgens de laatste richtlijnen, functioneren, kwaliteit van leven, tevredenheid, etc.).

Constructvaliditeit verwijst naar de vraag of de gegevens een goede afspiegeling zijn van datgene wat men wil meten. In onze context gaat het dus om de vraag of de behandeluitkomst wel op de juiste manier gemeten is. Met name ruis in de data door gebrekkige methodiek (variatie in meetmoment, onvergelijkbare meetinstrumenten) en onvergelijkbare patiëntengroepen kunnen de constructvaliditeit beperken.

Externe validiteit tenslotte, verwijst naar de generaliseerbaarheid van de resultaten. Optimale externe validiteit vereist 100 procent ROM-respons. Voor een Delta T kunnen helaas nooit alle patiënten gebruikt worden vanwege het ontbreken van voor- en/of nametingen. Hierdoor zullen de resultaten altijd gebaseerd zijn op slechts een deel van de totale patiëntenpopulatie.

Voor de GGZ is afgesproken dat uiteindelijk 50 procent van de DBC’s met een voor- en een nameting worden aangeleverd, wat externe validiteit zou moeten waarborgen, mits de ontbrekende gegevens niet systematisch missen (bijvoorbeeld vooral ontbrekende nametingen bij mislukte behandelingen). In het laatste geval worden pre-post verschillen overschat.

uitlegtoelichting,wetenschappelijk
benchmark,validiteitenbetrouwbaarheid

Zeggingskracht in bredere zin: informatiekwaliteit

Laatst gewijzigd op: 15 december 2017

Een tweede vorm van "zeggingskracht" is de mate waarin de data in staat zijn om het beoogde doel te realiseren. Het gaat dan niet meer alleen om de wetenschappelijke kwaliteit van de data, maar ook om de vraag of de data de gebruiker in staat stelt dat te doen waarvoor de gegevens zijn verzameld. In de informatica wordt dit informatiekwaliteit genoemd. Gebruikers moeten vertrouwen hebben in de gepresenteerde data en zich erin herkennen.

Om de informatiekwaliteit vast te stellen moet je het beoogde doel helder voor ogen hebben, in het geval van benchmarken is dat het verbeteren van de kwaliteit middels een kwaliteitscyclus. Leren van praktijkvariatie is nu al mogelijk, ook zolang de data nog niet 100 procent dichtgetimmerd is. Voor benchmarken is het van belang dat vergelijkingsinformatie gebruikers in staat stelt een PDCA-cyclus op te starten.

Het zien van verschillen in uitkomsten leidt er toe dat men hypotheses opstelt om deze verschillen te verklaren. Soms zijn dat inderdaad verstorende factoren, zoals een gebrekkige registratie of beperkingen van de methodiek. Vaak ook stelt men vragen of de benchmarkpartner er een andere werkwijze op nahoudt waarvan geleerd kan worden. Het stellen van dergelijke vragen en het onderzoeken van alternatieve werkwijzen is de essentie van benchmarken.

Op dit moment wordt de vergelijkingsinformatie vooral pragmatisch gebruikt; instellingen stellen hypotheses op en testen die weer in de PDCA-cyclus. Zodra er politieke of financiële consequenties aan de benchmark vast zitten, moet de validiteit strenger getoetst worden. Om de validiteit van de benchmark steeds verder te verbeteren onderhoudt SBG een onderzoeksprogramma

SBG verzorgt behandeleffect-trainingen waarin de mogelijkheden van het gebruik van de benchmarkresultaten voor uw organisatie worden verkend.

uitlegtoelichting,wetenschappelijk
benchmark,validiteitenbetrouwbaarheid
top