Stichting Benchmark GGZ

Toon het menu Verberg het menu
BRaM

Hier vindt u informatie over onze Benchmarkrapportage Module (BRaM) en op welke wijze u deze kunt bedienen en begrijpen.

Datakwaliteit, Validiteit (rapport)

Wanneer gebruik je een rapport Validiteit?

Laatst gewijzigd op: 15 december 2017

Validiteit wil zeggen dat hetgeen u meet ook daadwerkelijk overeenkomt met wat u wilt meten. In ons geval wilt u dus dat de gemeten verschillen op ROM-uitkomsten ook echt werkelijke verschillen in behandeluitkomst zijn. Er zijn echter enkele bedreigingen voor de validiteit, zoals gebrek aan uniformiteit in de wijze van meten en gebrek aan representativiteit. Het rapport Validiteit geeft hierover achtergrondinformatie. Momenteel geeft het rapport informatie over variatie in het gebruikte meetinstrument en de mate waarin dit tot een vertekening kan leiden. In de toekomst zal dit rapport meer informatie bieden op basis van wetenschappelijke inzichten.

behandelaar,bestuurmanagerbeleidsmed,onderzoeker,rapportagesgebruiken,uitlegtoelichting,validiteit,zorgverzekeraar
bram

Wie ziet wat?

Laatst gewijzigd op: 15 december 2017

Het rapport Validiteit is beschikbaar voor zowel zorgaanbieders als zorgverzekeraars.

algemeen,behandelaar,bestuurmanagerbeleidsmed,onderzoeker,rapportagesgebruiken,validiteit,zorgverzekeraar
bram,instelling,zorgverzekeraar

Opvragen van een rapport Validiteit

Laatst gewijzigd op: 15 december 2017

U vraagt een rapport Validiteit op door te kiezen voor een rapportageperiode. Voor de rapportageperiode hebt u de keuze uit de afgelopen 12 maanden of een van de recente kalenderjaren. Als zorgverzekeraar kiest u bovendien een zorgaanbieder waarover u gerapporteerd wilt worden. U kunt slechts één zorgaanbieder selecteren. Klik vervolgens op “Maak rapport”.

Het rapport zelf bestaat uit meerdere tabbladen, één per zorgdomein. Selecteer hier het gewenste zorgdomein waarin u geïnteresseerd bent.

behandelaar,brambeheerder,onderzoeker,rapportagesgebruiken,uitlegtoelichting,validiteit,zorgverzekeraar
bram

Een rapport Validiteit begrijpen

Laatst gewijzigd op: 17 april 2018

Idealiter gebruiken alle zorgaanbieders één en hetzelfde instrument, maar in de praktijk zijn er meerdere instrumenten in gebruik. Tot op zekere hoogte kan SBG deze verschillende instrumenten met elkaar vergelijkbaar maken middels de T-score systematiek. Deze methodiek kent echter haar grenzen. De mate waarin een T-score systematiek een meetinstrument vergelijkbaar maakt met de andere instrumenten wordt uitgedrukt in sterren: hoe meer sterren, hoe vergelijkbaarder de behandeluitkomsten zijn.

Tabel 1 toont de variatie in het gebruik van meetinstrumenten voor de geselecteerde zorgaanbieder. Per meetdomein staat aangegeven welke instrumenten zijn gebruikt en in welke mate. Achter het meetinstrument staat het aantal sterren voor dat meetinstrument weergegeven.

Als het door de zorgaanbieder gebruikte meetinstrument veel sterren heeft, dan betekent dit dat de T-score systematiek voor deze zorgaanbieder goed werkt: verschillen tussen zorgaanbieders zijn niet of nauwelijks veroorzaakt doordat er een andere meetinstrument gebruikt wordt.

Heeft het door de zorgaanbieder gebruikte meetinstrument echter weinig sterren, dan bestaat de mogelijkheid dat de verschillen tussen zorgaanbieders wel veroorzaakt worden door het gebruikte meetinstrument. In dat geval is er dus mogelijk sprake van een vertekening van de resultaten en zijn de verschillen mogelijk niet het resultaat van verschillen in de geleverde zorg. Enige terughoudendheid is in dat geval noodzakelijk bij het interpreteren van de behandeluitkomsten.

Een bedreiging voor de validiteit van gerapporteerde behandeluitkomsten is selectieve uitval van metingen waardoor de uitkomsten niet representatief zijn. De kans op een selectieve vertekening is kleiner bij een hoge respons. Daarom is een vereiste om behandeluitkomsten als valide te beschouwen dat de respons minimaal 50% moet bedragen.

SBG heeft een methodiek ontwikkeld om de mate van selectieve vertekening te schatten voor de behandeluitkomsten van een instelling. Op basis van advies van de Wetenschappelijke Raad is bepaald dat deze geschatte vertekening niet groter mag zijn dan 0,5 Delta T punt.

Tabel 2 geeft een samenvatting van beide criteria en geeft op basis daarvan een eindoordeel over de representativiteit van de behandeluitkomsten van de instelling. Dit wordt afzonderlijk gedaan voor Basis GGZ trajecten, Initiële DBC trajecten en Zorgtrajecten. Momenteel zijn alleen de resultaten over 2016 beschikbaar.

Als het responspercentage lager is dan 50%, maar u voldoet wel aan het criterium omtrent selectieve vertekening, dan wil dat nog niet direct zeggen dat de behandeluitkomsten niet representatief zijn. U kunt de rapportages in dat geval nog steeds gebruiken om te verbeteren, zolang u zich bewust bent van het feit dat de kans op vertekening niet voldoende uitgesloten kan worden.

Als er sprake blijkt te zijn van een selectieve vertekening, dan betekent dat de Delta T mogelijk meer dan een halve punt afwijkt van de werkelijke Delta T. U dient de resultaten dan terughoudend te interpreteren. In veel gevallen kan de selectieve vertekening niet worden bepaald en toont de tabel “ntb.” of “nvt”. In het geval van “ntb” zijn er onvoldoende casemixvariabelen aangeleverd; in het geval “nvt” is de respons lager dan 25%. Om de kans op vertekening uit te sluiten dient u in dat geval de aanlevering van de casemix-variabelen en de respons te verbeteren.

behandelaar,bestuurmanagerbeleidsmed,onderzoeker,rapportagesgebruiken,uitlegtoelichting,validiteit,zorgverzekeraar
bram,meetdomeinbehandeleffect,meetinstrument,tscore
top