請教王老師的問題記錄：measurement invariance的判斷指標、後續處理、CFA和Rasch analysis分析結果的差異

主題一、Measurement invariance的判斷指標
Measurement invariance是古典測驗理論的用語，表示量表在不同族群、時間點使用這個量表，皆可以得到相似的心理計量特性。此概念在IRT當中，就是此量表沒有差別試題功能 (differential item functioning, DIF)。
補充：DIF的定義為不同種類（例如：年齡、性別、教育程度）但能力相同的個人，如果在答對某個試題上的機率有所不同的話，則該試題便顯現出 DIF 的現象。
Measurement invariance可謂一種理想，實際上沒有完美的量表。因此就看使用者願意接受多少的不完美。

以下為對於幾個指標的驗證方法的說明：
1.單一因素結構：可視量表的用途決定MNSQ可接受的範圍，例如把範圍從0.6 - 1.4 改為  0.8 - 1.2，以調高標準。

2.題目難度排序：題目難度排序做直接比較。但須思考比較題目難度的排序是否恰當。如果有題目的難度排序變化過大，則可考慮不採計此題的結果，改以共通題的分數估計這題可能的分數。

3.題目難度值：可計算不同時間檢的題目難度之相關，或看各題得分的平均與變化量。

4. Person reliability：可用Spearman-Brown formula計算量表的信度0.89時，要增加幾題才能變成0.92。如果不需增加很多題目，就可視為信度是穩定的。


主題二、若工具不具備Measurement invariance，應如何處理？
驗證Measurement invariance之前，需先說明為何會擔心不一致？為何要驗證特定變項對一致性的影響？不一致又會造成什麼結果。
若量表的使用目的是作為重要的判斷依據（例如疾病診斷或大型考試的錄取判別），則可容忍的誤差程度比較低。
若量表的使用目的是用於團體比較，可允許的誤差較大。

關於是否需刪題，如果題目太少，就不一定要刪題。

主題三、若CFA單因素分析與Rasch分析結果不同，應採信何者？
二者概念不同，不可直接比較。
有時候CFA為單因素，Rasch分析結果不是單因素，並不表示Rasch比較寬鬆。
而是因為我們採用寬鬆的標準看待Rasch分析的結果。
如果改用嚴格的標準，例如：MNSQ改用0.8-1.2的標準，量表未必就會符合單向度。

請教王文中老師的問題(1/13更新）

I.        問題一：若欲驗證評估工具的measurement invariance，使用哪些指標與驗證方法較為適宜？以下所列的各種判斷指標與驗證方法之優缺點是否恰當？有無其它更好的驗證方法？

指標	驗證方法	優點	缺點
因素結構	in fit, out fit 的MNSQ <1 .4="" span="">、殘差的PCA的第一因素 < 2判斷是否符合單向度	判斷標準明確	若分析多個時間點，有時後要刪題，有時候不需刪題。因素結構是否一致？
題目難度排序	直接比較	判斷標準明確	當題目內容與個案的其它特質（例如：文化）有交互作用時，題目難度排序似乎並不適合作為判斷指標。
題目難度值	1.看絕對的難度數值 2.計算不同時間點的題目難度之相關	數值容易取得	1.如何判斷數值的差異多少，是可以接受的？ 2.相關係數的判斷標準為何？（ > 0.6即為高相關，但是題目難度的相關程度0.6，似乎不算高）
Person reliability	直接比較	數值容易取得	如何判斷數值的差異多少，是可以接受的？

補充說明：

1.      measurement invariance （又稱measurement equivalence）是指評估工具應用於不同時間點或族群時，可得到相似的心理計量特性的結果。

2.    用於IRT，  measurement invariance的指標包含因素結構、題目難度排序、題目難度的數值、信度。

II.      問題二：若評估工具不具備measurement invariance（例如：題目難度的排序有變化），請問您建議如何進行後續處理（例如：刪題？）、應用時又該留意什麼事情？

III.    問題三、當Rasch分析為單向度，CFA的結果卻不是單向度，應該採信那一個結果呢？請問可能會是甚麼原因造成這個結果？

補充說明

1.      量表特性：一般自我效能量表(General self-efficacy scale), 共10題。每題皆為4點量尺，無反向題。分數越高表示自我效能越好。

2.      資料特性：受訪者為1176位肢體受傷的住院病人，年齡、教育程度與工作類別差異很大。一般自我效能量表的評量分數偏高。

GSES 之measurement invariance之假說、資料分析與結果說明(1/4更新，刪除第三題後重新分析）

I.       明確的假說：

A.    整體而言：具備measurement invariance之工具應具備穩定之因素結構、信度與題目難度。

B.     分別而言

1.      GSES在各時間點皆為單因素結構

2.      GSES在各時間點之信度皆相近（差異不超過0.05）

3.      GSES在各時間點之題目位置一致（亦即不同時間點的題目難度與階難度的相關性高）

II.    資料分析方法

A.    GSES之單因素結構驗證

1.      以羅序分析之PCM驗證之，判斷標準如下：

a.       各題之In fit 與out fit MNSQ 皆< 1.4

b.      以PCA確認殘差中的第一因素特徵值< 2

B.     GSES之信度（差異不超過0.05）

1.      以羅序分析所得之person reliability表示

C.     GSES之題目位置之一致程度

1.      整體而言：以羅序分析所得之題目難度估計值進行排序

2.      個別而言：

a.       排序

1.      各題平均題目於各時間點分別排序，並進行Friedman test

2.      各題的各選項的平均難度於三個時間點分別排序

b.      相關

1.      三個時間點的平均題目難度，兩兩分析其皮爾森相關值

2.      三個時間點的各選項平均難度，兩兩分析其皮爾森相關值
Q.若是以PCM分析，看各題的平均難度是否意義不大？

比較多個時間點的因素結構的理由（文獻回顧）

以下為回顧前人進行多個時間點的因素結構比較的原因。
紫字標示者為我認為可用於我的論文的原因。

原因	比較方法	出處
之前的研究曾建議刪題，有些卻不用。或建議刪除的題目不同	Multiple group confirmatory factor (MGCF) model framework	[1]
欲測量的特質會受到特定因素影響（例如：生病後的時間長度、是否回到工作、社經地位）	Multiple group confirmatory factor (MGCF) model Framework、計算量表分數與其它特質的相關程度 (multi-trait- multi-method matrix ,MTMM)	[1, 2]
題目間的關係可能因為時間點不同而改變，導致因素結構改變	1.      直接比較分析結果、各題在不同時期的難度、平均分數與標準差 2.      Coefficient of congruence and Catttell’s Salient Similarity Index (Cattell, 1978)，用於CFA	[3, 4]
題目難度的排序可能因為評估時間點而不同	直接比較分析結果、各題在不同時期的難度、平均分數與標準差	[3, 5]
因素間的關係尚不確定	計算量表分數與其它特質的相關程度 (multi-trait- multi-method matrix ,MTMM)	[6, 7]
驗證現有的理論架構	1.      SEM （用於CFA的結果） 2.      Multi-group CFAs in a repeated-measures design	[8, 9]
欲驗證量表的測量不變性 (longitudinal invariance of the factor Structure/ measurement invariance) -因為個案在某些時間點可能無法/不適合回答某些問題 -因素結構若因時間而不同，不利於長期追蹤的結果比較	Multi-group CFAs in a repeated-measures design	[7, 9, 10]

搜尋長期追蹤之多次評估結果比較的關鍵字

為了搜尋長期追蹤之多次評估結果比較的論文，我主要嘗試了三套Medline搜尋策略（每一套中間有多次微調，但若記錄下來就太複雜了，因此略過不表）。
結果發現先找到適合的關鍵字 (本次搜尋的重要關鍵字是time points）之後，再以簡馭繁似乎是比較合適的方法。

第一套搜尋策略
搜尋策略

# ▲	Searches	Results
1	(construct validity or unidimension$ or factor analysis).tw.	32924
2	(compar$ or follow$ or cross time or over time or longitudinal).tw.	5288995
3	1 and 2	12591

結果：找到太多不相干的結果。我認為是follow、compare、cross time這3個詞彙的影響。刪除此三詞彙後，文獻數減少但精準度仍不高。
精準度：約1%（前100篇文獻中，可能符合搜尋目的的文獻）

第二套搜尋策略（增加『相近』的概念，希望可以縮小搜尋結果）

# ▲	Searches	Results
1	(construct validity or unidimension$ or factor analysis).tw.	32924
2	(similar or same or invarian$ or stable).tw.	2372315
3	("across time" or "time point$" or longitudinal).tw.	207793
4	1 and 2 and 3	331

結果：雖然搜尋到的篇數已經少於第一套搜尋策略，但不相干的結果仍然不少。我認為我可能沒有掌握到最適合的關鍵字。
精準度：約2%

第三套搜尋策略
搜尋策略

# ▲	Searches	Results
1	("across time" and "time points").tw.	342
2	(construct validity or unidimension$ or factor analysis).tw.	32924
3	1 and 2	12

結果：搜尋到的篇數減少且精準度大幅提升。然而我認為文章數似乎過少（因為關鍵字非常限定），因此改以Web of Science重新搜尋。閱讀最新的50篇與引用次數最高的50篇，搜尋結果的精準度約20%。
精準度：58%