Evaluering av måleegenskaper

Informasjon

Dato

11. - 12. oktober

Påmelding

24. september 2018

Sted

NIH

Tid

kl.08:30

Om

For å vurdere om målemetoder gir reproduserbare og tolkbare resultater, trenger man hensiktsmessige design og statistiske metoder. Kurset omfatter design og analyse for vurdering av reliabilitet, diskriminerende evne, prediksjon, sensitivitet for endring, intern konsistens, kriterievaliditet og begrepsvaliditet (construct validity). Metoder for analyse av ratiodata, intervalldata, ordinaldata og kategoriske data vil bli gjennomgått.

Målgruppe
Doktorgradsstipendiater. Kurset er godkjent som spesialpensum under den valgfrie delen av opplæringsdelen i doktorgradsutdanningen ved NIH og gir 

2,5 studiepoeng (forutsatt 100% tilstedeværelse).

Målsetting
Etter gjennomgått kurs skal deltakerne kunne velge egnede metoder for evaluering av reliabilitet og validitet, diskriminerende evne, prediksjon og endring over tid. De skal kunne gjennomføre en metodestudie, bruke aktuelle statistiske metoder og vurdere ulike kilder til målefeil. 

Forkunnskaper
Gjennomgått forskeropplæringskurs i statistikk eller tilsvarende. Kjennskap til terminologi angående enveis og toveis ANOVA er en fordel.

Undervisningsform
Forelesninger og deltakermedvirkning. Deltakerne oppfordres til å beskrive egne målemetoder, samt å delta aktivt ved å presentere aktuelle problemstillinger underveis.

Kursleder

Professor, dr. philos. Rolf Moe-Nilssen, Inst. for global helse og samfunnsmedisin, Universitetet i Bergen.

Tid og sted
11. og 12. oktober 2018 på Norges Idrettshøgskole

Program

DAG 1

Tema

Innhold

0830-0900 Innledning Presentasjon av deltakere. Om kurset.
0915-1000

Måleteori

Klassifisering. Måling. Målenivå.
1015-1100

Kilder til målefeil

Presisjon og nøyaktighet. Intra- og intertesterreliabilitet, testretestreliabilitet.
1115-1200 Design av metode­evalueringsstudier Reliabilitetsevaluering av et instrument.
Sammenligning mellom instrumenter. Krav til testpopulasjon.
1200-1245 Lunsj  
1245-1330 Vurdering av 'Multi item'  instrumenter Bruk av del- og sumscore. Profiler, indekser og indikatorer.
1345-1430 Mål for reliabilitet Absolutt og relativ reliabilitet.
1445-1530 Statistisk teori Samvariasjon og enighet. Tilfeldige og systematiske feil. Trend.
Fallgruber. Pearson’s r. t-test for pardata.

DAG 2

Tema

Innhold

0830-0915 Statistiske modeller for intervalldata, relativ enighet Homo- og heteroscedastisitet.
Reliabilitet og trend.
Intraclass correlation (ICC).
Coefficient of variation (CV).
0930-1015 Statistiske modeller for intervalldata, absolutt enighet Bland-Altman's plot.
Intrasubjekt standardavvik (sw eller SEM).
CI for en måling. CI for en differanse.
1030-1115 Intern konsistens av testbatterier Item-item/item-total korrelasjon/Cronbach’s alfa.Spearman-Brown korreksjon.
1130-1215 Statistiske modeller for enighet, ordinale og kategoriske data Kappa/Veid Kappa.
1215-1300 Lunsj  
1300-1345 Sensitivitet for endring Mål for endring. Minste målbare/viktige endring. Effect size (ES) og Standardized Response Mean (SRM). Responsiveness. Ankerbasert og fordelingsbasert tilnærming.
Regresjon mot middelverdien.
1400-1445 Statistiske modeller for klassifisering Sensitivitet og spesifisitet.Likelihood ratios
Konstruksjon og tolkning av ROC-kurve.
1500-1545 Risikovurdering og prediksjon


Men hva med validiteten?



Avslutning
Retro- og prospektive design.
Overlevelsesanalyse.
Reliabilitetens betydning for klassifisering, sensitivitet for endring og begrepsvaliditet. Spearmans korreksjon av samvariasjon ved lav reliabilitet.
Oppsummering og evaluering.

 

Praktisk informasjon

Aktuell litteratur
Altman DG. Practical Statistics for Medical Research. London: Chapman & Hall, 1991, 396-419.

Bland JM,.Altman DG. Cronbach's alpha. BMJ 1997;314:572.

Bland JM,.Altman DG. Measurement error [corrected and republished article originally printed in BMJ 1996 Jun 29;312(7047):1654]. BMJ 1996;313:744.

Bland JM,.Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986;1:307-10.

de Vet HC, Terwee CB, Mokkink LB, Knol DL. Measurement in medicine. Cambridge: Cambridge University press; 2011.

 Donoghue D, Stokes EK. How much change is true change? The minimum detectable change of the Berg Balance Scale in elderly people. J Rehabil Med 2009; 41(5):343-346

 Russell ECLubinsky J. Rehabilitation research. Principles and applications. St. Louis, Miss: Elsevier, 2016.

Loge JH, Kaasa S, Hjermstad MJ, Kvien TK. Translation and performance of the Norwegian SF-36 Health Survey in patients with rheumatoid arthritis. I. Data quality, scaling assumptions, reliability, and construct validity. J.Clin.Epidemiol. 1998;51:1069-76.

Moe-Nilssen R. Test-retest reliability of trunk accelerometry during standing and walking Arch.Phys.Med.Rehabil. 1998;79:1377-85.

 Moe-Nilssen R, Nordin E, Lundin-Olsson L. Criteria for evaluation of measurement properties of clinical balance measures for use in fall prevention studies. Journal of Evaluation in Clinical Practice 2008;14:236-40.

 Moe-Nilssen R, Aaslund MK, Hodt-Billington C, Helbostad JL. Gait variability measures may represent different constructs. Gait Posture 2010;29(32):98-101.

 Norman GR, Streiner DL. Biostatistics - the bare essentials. 4th Ed. 2014.  PMPH-USA,

 Ottenbacher KJ, Tomchek SD. Reliability analysis in therapeutic research: practice and procedures. Am.J.Occup.Ther. 1993;47:10-16.

 Perera S, Mody SH, Woodman RC, Studenski SA. Meaningful change and responsiveness in common physical performance measures in older adults. J Am Geriatr Soc 2006 May;54(5):743-9.

Shrout PE,.Fleiss FL. Intraclass correlations: Uses in assessing rater reliability.Psychol.Bull. 1979;86:420-8.

Påmelding: Bindende påmelding til gro.styrmo@nih.no innen 24. september.