2015年1月20日 星期二

請教王老師的問題記錄:measurement invariance的判斷指標、後續處理、CFA和Rasch analysis分析結果的差異

主題一、Measurement invariance的判斷指標
Measurement invariance是古典測驗理論的用語,表示量表在不同族群、時間點使用這個量表,皆可以得到相似的心理計量特性。此概念在IRT當中,就是此量表沒有差別試題功能 (differential item functioning, DIF)。
補充:DIF的定義為不同種類(例如:年齡、性別、教育程度)但能力相同的個人,如果在答對某個試題上的機率有所不同的話,則該試題便顯現出 DIF 的現象。
Measurement invariance可謂一種理想,實際上沒有完美的量表。因此就看使用者願意接受多少的不完美。


以下為對於幾個指標的驗證方法的說明:
1.單一因素結構:可視量表的用途決定MNSQ可接受的範圍,例如把範圍從0.6 - 1.4 改為  0.8 - 1.2,以調高標準。

2.題目難度排序:題目難度排序做直接比較。但須思考比較題目難度的排序是否恰當。如果有題目的難度排序變化過大,則可考慮不採計此題的結果,改以共通題的分數估計這題可能的分數。

3.題目難度值:可計算不同時間檢的題目難度之相關,或看各題得分的平均與變化量。

4. Person reliability:可用Spearman-Brown formula計算量表的信度0.89時,要增加幾題才能變成0.92。如果不需增加很多題目,就可視為信度是穩定的。


主題二、若工具不具備Measurement invariance,應如何處理?
驗證Measurement invariance之前,需先說明為何會擔心不一致?為何要驗證特定變項對一致性的影響?不一致又會造成什麼結果。
若量表的使用目的是作為重要的判斷依據(例如疾病診斷或大型考試的錄取判別),則可容忍的誤差程度比較低。
若量表的使用目的是用於團體比較,可允許的誤差較大。

關於是否需刪題,如果題目太少,就不一定要刪題。

主題三、若CFA單因素分析與Rasch分析結果不同,應採信何者?
二者概念不同,不可直接比較。
有時候CFA為單因素,Rasch分析結果不是單因素,並不表示Rasch比較寬鬆。
而是因為我們採用寬鬆的標準看待Rasch分析的結果。
如果改用嚴格的標準,例如:MNSQ改用0.8-1.2的標準,量表未必就會符合單向度。


沒有留言:

張貼留言