Stichting Benchmark GGZ

Toon het menu Verberg het menu
Benchmarken

Hier vindt u uitleg over wat benchmarken is, welk onderzoek wordt gedaan om de benchmark te verbeteren, welke trainingen SBG aanbiedt voor het gebruik van de benchmarkgegevens en welke pilots SBG met het GGZ veld uitvoert.

Computerized Adaptive Testing

bestuurmanagerbeleidsmed,onderzoeker,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek

Samenvatting

Laatst gewijzigd op: 15 december 2017

Recent is een nieuwe techniek van meten geïntroduceerd in de gezondheidszorg: Computerized Adaptive Testing (CAT). CAT is een bewezen techniek van meten met als voornaamste toepassingsgebied vaardigheidstests zoals rekenvaardigheid. Kern van de CAT methode is dat uit een voorraad items een computer telkens een volgend item kan selecteren op basis van de eerder door de respondent gegeven antwoorden.

Op deze wijze worden steeds gerichtere vragen gesteld naarmate het aanbieden van items voortgaat. Het proces van aanbieden gaat net zolang door, tot een vooraf bepaald niveau van meetprecisie is bereikt. Op deze manier kan al met 7 tot 9 items een voldoende betrouwbare meting worden verkregen, waar met de traditionele meetmethode een vragenlijst van 20 tot 50 vragen vereist zou zijn om hetzelfde betrouwbaarheidsniveau te halen. Deze efficiëntie wordt behaald, omdat vragen die niet relevant zijn voor de respondent (items met lage informatiewaarde gezien het ernstniveau van de patiënt) niet worden aangeboden.

CAT heeft als voordeel dat het vooraf bepaalde meetbetrouwbaarheid over alle ernstniveaus van respondenten biedt en efficiënte afname en een vaste meetschaal heeft. Voordat dit systeem in Nederland beschikbaar is moet er software worden gebouwd, itembanks samengesteld met items die zijn geëvalueerd op hun psychometrische kenmerken en moet de betrouwbaarheid en de validiteit van de CAT worden onderzocht.

behandelaar,bestuurmanagerbeleidsmed,onderzoeker,patiënt,zorgverzekeraar
meetinstrument,onderzoek

Uitdagingen

Laatst gewijzigd op: 15 december 2017

Er zijn drie knelpunten die de huidige praktijk van ROM en benchmarken hinderen:

  1. De ambitie om ROM over de hele GGZ uit te rollen wordt gehinderd door de aanzienlijke kostenpost. Er is een groeiende weerstand in het GGZ-veld en in de academische wereld (Van Os et al, 2012) tegen betaling voor meetinstrumenten, die vaak met publieke middelen zijn vertaald, ontwikkeld en genormeerd.
  2. De variatie in meetinstrumenten in de GGZ met een vergelijkbare meetpretentie bemoeilijkt vergelijking van uitkomsten tussen instellingen, het doel van de Benchmark (de Beurs et al, 2012). Uit de directe vergelijking van de responsiviteit van veelgebruikte meetinstrumenten voor psychopathologie met een identieke meetpretentie komen verschillen naar voren (de Beurs et al., 2012). De variatie in meetinstrumenten creëert ruis; meer uniformiteit in gebruikte meetinstrumenten is gewenst. Dit issue is door de wetenschappelijke raad met een hoge prioriteit op de onderzoeksagenda van SBG geplaatst.
  3. Bestaande meetinstrumenten voor ROM zijn onvoldoende efficiënt en bevatten vragen die gezien het ernstniveau van de respondent irrelevant kunnen zijn. Vanwege de verschillende doelstellingen bij ROM dreigt de set van meetinstrumenten die aan de patiënt voorgelegd wordt, steeds uitgebreider te worden. De bereidheid van patiënten om mee te werken aan ROM neemt af naarmate het aantal vragenlijsten toeneemt. Er is behoefte aan een meer efficiëntere manier van gegevensverzameling dan mogelijk is met de nu beschikbare meetinstrumenten.
behandelaar,bestuurmanagerbeleidsmed,onderzoeker,patiënt,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek

Oplossingen

Laatst gewijzigd op: 15 december 2017

Een oplossing voor de drie bovenvermelde knelpunten kan gevonden worden in de ontwikkeling van een nieuwe set van meetinstrumenten voor de GGZ, gebaseerd op Item Respons Theorie (Embretson & Reiss, 2000) en CAT-technologie. CAT bestaat al geruime tijd, maar wordt vooral toegepast om kennisniveau te meten.

Recent is in de VS met hulp van een langlopende federale subsidie, een CAT-methode ontwikkeld voor het meten van Patient Reported Outcomes (PRO) in de gezondheidszorg, het zogenaamde PRO Measurement Information System (PROMIS) project (Zie Pilkonis et al., 2011).

CAT heeft duidelijk voordelen boven traditioneel meten met een vast aantal items. Recent is in simulatiestudies gedemonstreerd door Smits (2011, 2012) dat met CAT een forse toename in efficiëntie te behalen is voor de GGZ: aanbieding van 20% van een itemset voor het meten van depressie gaf uitkomsten die zeer hoog correleerden en in validiteit vergelijkbaar waren met de volledige itemset. Een CAT afname levert een score (T-Score of percentiel score) die de positie uitdrukt van de respondent ten opzichte van een normgroep (bij PROMIS is dit de algemene bevolking). Hiermee is de score niet afhankelijk van een arbitraire schaal (vgl. de Beurs, 2010) en zijn scores op verschillende concepten (angst, depressie) direct onderling vergelijkbaar. CAT brengt zo drie voordelen met zich mee: een vooraf vastgestelde meetbetrouwbaarheid, efficiëntie in afname en een score op altijd dezelfde meetschaal. CAT bestaat uit vier onderdelen: een gekalibreerde itembank, een item selectie procedure, een scoring methode en een criterium voor het beëindigen van de test.

Itembanken

In de VS heeft de federale overheid de ontwikkeling van itembanken voor het meten van relevante concepten in de gezondheidszorg met een forse subsidie ondersteund. Dit heeft geresulteerd in itembanken voor een twintigtal meetdomeinen met volwassenen en kinder- en jeugdversies. Daarmee is de ambitie om tot een uniforme set van CAT-meetinstrumenten te komen ook haalbaar gebleken. Het PROMIS-project heeft ook geresulteerd in een zogenaamd Assessment Center, een gratis beschikbare webbased software oplossing om items aan te bieden en een score te bepalen.

Voor de Nederlandse situatie kan de CAT-methodiek in de plaats komen van zelfrapportage vragenlijsten die nu door uitgeverijen worden aangeboden; CAT kan de gewenste uniformiteit bieden bij gebruik van meetinstrumenten in de GGZ en CAT maakt een meer efficiënte uitvraag van informatie mogelijk.

De GGZ bevindt zich op dit moment in een uitstekende uitgangspositie voor invoering van deze technologie, omdat ROM al op grote schaal wordt geïmplementeerd door middel van ICT-oplossingen via ROM-applicaties. Qua computerdichtheid is ons land wereldwijd koploper: in oktober 2011 had 95 procent van de Nederlandse huishoudens internettoegang.

Een laatste voordeel van CAT is dat het geen statisch instrument is, maar een meetmethodiek: de onderliggende itembank kan aangepast worden naar nieuwe inzichten en aan de hand van de gegevens die met de CAT verzameld worden. Er kunnen voortdurend extra items aan de itembank toegevoegd en uitgetest worden om het systeem te optimaliseren. CAT is zo in potentie een zelf-lerend systeem.

behandelaar,bestuurmanagerbeleidsmed,onderzoeker,patiënt,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek

Wat is nodig voor de ontwikkeling van CAT voor ROM?

Laatst gewijzigd op: 15 december 2017
  • Ontwikkeling van itembanks voor veel voorkomende symptoomclusters in de GGZ. Om te beginnen voor ‘depressie en angst’ en eventuele subdomeinen binnen deze symptoomclusters, later gevolgd door andere zoals ‘lichamelijke klachten’ en ‘functioneren’. Voor depressie en angst is gekozen omdat stemmings- en angststoornissen het meest voorkomen en deze symptoomdomeinen ook voor veel andere stoornissen relevant zijn.
  • Een unidimensioneel of bi-factorieel CAT-algoritme waarmee de items worden geselecteerd.

Om te komen tot Nederlandse itembanks is een goed vertrekpunt om de PROMIS itembanken voor angst en depressie te vertalen en psychometrisch te onderzoeken. De Nederlands-Vlaamse vertaling hiervan is inmiddels bijna geheel rond in een door ZonMW gefinancierd project.


behandelaar,bestuurmanagerbeleidsmed,onderzoeker,patiënt,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek

Nederlands Assessment Center

Laatst gewijzigd op: 15 december 2017

In de VS is PROMIS ondergebracht bij een federale organisatie die het instrumentarium, de gegevens en de algoritmes beheert en doorontwikkelt. Voor Nederland is wenselijk dat er een landelijk meetinstituut tot stand komt. Hiervoor is nodig:

  • Webbased software (de Nederlandse variant van het Assessment Center) waarmee items aangeboden kunnen worden en waarop bestaande ROM-applicaties kunnen aansluiten.
  • Financiering van de ontwikkeling van de software.
  • Een landelijk, gezondheidszorg breed instituut (bijvoorbeeld een stichting) dat kan fungeren als host voor de website. Hiermee wordt geborgd dat de (bescheiden) exploitatiekosten over een geruime periode gedekt zijn, zodat de dienstverlening gratis kan blijven.
  • Een centrale landelijke database met antwoorden op items en achtergrondgegevens van respondenten, wat doorontwikkeling van de CAT itembanken mogelijk maakt.
behandelaar,bestuurmanagerbeleidsmed,onderzoeker,patiënt,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek

Benodigd onderzoek

Laatst gewijzigd op: 15 december 2017

Voor vaststelling van de bruikbaarheid van een CAT meetset voor benchmarkdoeleinden is nodig:

  1. Onderzoek onder een bevolkingssteekproef (n = 1.000) en een klinische steekproef (n = 1.000)
    • Psychometrisch onderzoek naar items en naar de dimensionele structuur, betrouwbaarheid en validiteit van de itemset en de informatieve waarde of meetprecisie, afhankelijk van de omvang van de set en bij verschillende ernstniveaus van het onderliggende te meten concept.
    • Kalibratie van de items in een omvangrijke bevolkingssteekproef en in een klinische steekproef. Onderzoek naar Differential Item Functioning (DIF) van items.
    • Onderzoek op basis van longitudinale data naar stabiliteit van item parameters over de tijd (pre-post data bij een klinische steekproef (n = 1.000).
    • Validatie middels vergelijking met bestaande meetinstrumenten (legacy scales) zoals de BSI en de OQ-45.
  2. Vervolgonderzoek onder klinische steekproeven (n = 200)
    • Vaststelling van de responsiviteit van de CAT-afname in vergelijking met traditionele meetinstrumenten. Hiervoor zijn wederom longitudinale data nodig bij een klinische steekproef.

In een vervolgtraject kunnen de itembanken vervolgens uitgebreid worden met nieuw gemaakte items of items uit bestaande meetinstrumenten in het publieke domein (bijv. MASQ, SQ-48, etc.) en kunnen aanvullende itembanken samengesteld worden.

behandelaar,bestuurmanagerbeleidsmed,onderzoeker,patiënt,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek

Rol SBG

Laatst gewijzigd op: 15 december 2017

SBG heeft belang bij de ontwikkeling van korte handzame alternatieve manieren om psychopathologie te meten, zodat de inspanning die patiënten en instellingen moeten leveren om inzicht te krijgen in de uitkomst van zorg, zo beperkt mogelijk kan blijven. Afname van zelfrapportage-instrumenten middels de CAT-methodiek past in het beleid van SBG om, zo mogelijk, in de toekomst op een eenvoudigere manier informatie voor de benchmarks te verzamelen.

We dragen daarom bij aan het tot stand brengen van CAT voor de GGZ in Nederland met een onderzoeker die werkt aan de ontwikkeling van itembanken voor het meten van de ernst van depressie en angst: Gerard Flens. Deze medewerker van SBG doet in deeltijd promotie onderzoek en hoopt in 2017 op dit onderwerp te promoveren.

behandelaar,bestuurmanagerbeleidsmed,onderzoeker,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek

Meer informatie?

Laatst gewijzigd op: 15 december 2017

Wilt u meer informatie over CATs voor angst en depressie voor volwassenen? SBG verzorgt op aanvraag graag presentaties over dit onderwerp. In deze presentatie wordt uitgebreid stilgestaan bij de wenselijkheid van deze nieuwe testmethode, de werking van CAT, het onderzoek dat reeds is uitgevoerd en het geplande onderzoek.

Heeft u interesse in deze presentatie, neem dan contact op met Gerard Flens. De presentatie kan bij SBG gegeven worden. Wij kunnen ook langskomen bij uw organisatie of desgewenst een presentatie verzorgen op door u georganiseerde bijeenkomsten. De vorm en de duur van de presentatie kan in overleg bepaald worden.

Contactgegevens

E-mail: gerard.flens@sbggz.nl

Telefoon: 31 (0) 30 229 90 90

algemeen,behandelaar,bestuurmanagerbeleidsmed,implementatiemedewerker,onderzoeker,patiënt,uitlegtoelichting,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek

Referenties

Laatst gewijzigd op: 15 december 2017

de Beurs, E. (2010). De genormaliseerde T-score, een “euro” voor testuitslagen. Maandblad voor de Geestelijke Volksgezondheid, 65, 685–696.

de Beurs, E., Barendregt, M., Flens, G., van Dijk, E, .Huijbrechts, I., & Meerding, W. J. (2012). Vooruitgang in de behandeling meten - Een vergelijking van vragenlijsten voor zelfrapportage. Maandblad voor de Geestelijke Volksgezondheid, 67, 259-264.

de Beurs, E., den Hollander‐Gijsman, M. E., van Rood, Y. R., van der Wee, N. J. A., Giltay, E. J., van Noorden, M. S., van der Lem, R., van Fenema, E. & Zitman, F. G. (2011). Routine outcome monitoring in the Netherlands: Practical experiences with a web‐based strategy for the assessment of treatment outcome in clinical practice. Clinical Psychology & Psychotherapy, 18, 1-12.

Embretson, S., Reise, S. (2000). Item response theory for psychologists. Mahwah, NJ: Erlbaum.

Gibbons, R. D., Weiss, D. J., Pilkonis, P. A., Frank, E., Moore, T., Kim, J. B., Kupfer, D. J. (2012). The CAT-DI: A computerized Adaptive Test for Depression. Archives of General Psychiatry, forthcoming.

Pilkonis, P.A., Choi, S.W., Reise, S.P., Stover, A.M., Riley, W.T., Cella, D., on behalf of the PROMIS Cooperative Group. (2011). Item banks for measuring emotional distress from the Patient-Reported Outcomes Measurement Information System (PROMIS®): depression, anxiety, and anger. Assessment, 18(3), 263-283.

Smits, N., Straten, A. van & Cuijpers, P. (2011). Applying computerized adaptive testing to the CES-D scale: A simulation study. Psychiatry Research, 188(1), 147-155.

Smits, N., Zitman, F. G., Cuijpers, P., den Hollander-Gijsman, M. E., & Carlier, I. V. (2012). A proof of principle for using adaptive testing in Routine Outcome Monitoring: the efficiency of the Mood and Anxiety Symptoms Questionnaire -Anhedonic Depression CAT. BMC Medical Research Methodology, 12, 4.

van Os, J., Kahn, R., Denys, D., Schoevers, R. A., Beekman, A. T. F., Hoogendijk, W. J. G., Van Hemert, A. M., Hodiamont, P. P. G. , Scheepers, F., Delespaul, Ph. A. E. G., Leentjens, A. F. G. (2012). ROM: gedragsnorm of dwangmaatregel? Overwegingen bij het themanummer over Routine Outcome Monitoring. Tijdschrift voor Psychiatrie, 54, 245-253.

behandelaar,bestuurmanagerbeleidsmed,onderzoeker,patiënt,wetenschappelijk,zorgverzekeraar
meetinstrument,onderzoek
top