請教王文中老師的問題(1/13更新）

I.        問題一：若欲驗證評估工具的measurement invariance，使用哪些指標與驗證方法較為適宜？以下所列的各種判斷指標與驗證方法之優缺點是否恰當？有無其它更好的驗證方法？

指標	驗證方法	優點	缺點
因素結構	in fit, out fit 的MNSQ <1 .4="" span="">、殘差的PCA的第一因素 < 2判斷是否符合單向度	判斷標準明確	若分析多個時間點，有時後要刪題，有時候不需刪題。因素結構是否一致？
題目難度排序	直接比較	判斷標準明確	當題目內容與個案的其它特質（例如：文化）有交互作用時，題目難度排序似乎並不適合作為判斷指標。
題目難度值	1.看絕對的難度數值 2.計算不同時間點的題目難度之相關	數值容易取得	1.如何判斷數值的差異多少，是可以接受的？ 2.相關係數的判斷標準為何？（ > 0.6即為高相關，但是題目難度的相關程度0.6，似乎不算高）
Person reliability	直接比較	數值容易取得	如何判斷數值的差異多少，是可以接受的？

補充說明：

1.      measurement invariance （又稱measurement equivalence）是指評估工具應用於不同時間點或族群時，可得到相似的心理計量特性的結果。

2.    用於IRT，  measurement invariance的指標包含因素結構、題目難度排序、題目難度的數值、信度。

II.      問題二：若評估工具不具備measurement invariance（例如：題目難度的排序有變化），請問您建議如何進行後續處理（例如：刪題？）、應用時又該留意什麼事情？

III.    問題三、當Rasch分析為單向度，CFA的結果卻不是單向度，應該採信那一個結果呢？請問可能會是甚麼原因造成這個結果？

補充說明

1.      量表特性：一般自我效能量表(General self-efficacy scale), 共10題。每題皆為4點量尺，無反向題。分數越高表示自我效能越好。

2.      資料特性：受訪者為1176位肢體受傷的住院病人，年齡、教育程度與工作類別差異很大。一般自我效能量表的評量分數偏高。

GSES 之measurement invariance之假說、資料分析與結果說明(1/4更新，刪除第三題後重新分析）

I.       明確的假說：

A.    整體而言：具備measurement invariance之工具應具備穩定之因素結構、信度與題目難度。

B.     分別而言

1.      GSES在各時間點皆為單因素結構

2.      GSES在各時間點之信度皆相近（差異不超過0.05）

3.      GSES在各時間點之題目位置一致（亦即不同時間點的題目難度與階難度的相關性高）

II.    資料分析方法

A.    GSES之單因素結構驗證

1.      以羅序分析之PCM驗證之，判斷標準如下：

a.       各題之In fit 與out fit MNSQ 皆< 1.4

b.      以PCA確認殘差中的第一因素特徵值< 2

B.     GSES之信度（差異不超過0.05）

1.      以羅序分析所得之person reliability表示

C.     GSES之題目位置之一致程度

1.      整體而言：以羅序分析所得之題目難度估計值進行排序

2.      個別而言：

a.       排序

1.      各題平均題目於各時間點分別排序，並進行Friedman test

2.      各題的各選項的平均難度於三個時間點分別排序

b.      相關

1.      三個時間點的平均題目難度，兩兩分析其皮爾森相關值

2.      三個時間點的各選項平均難度，兩兩分析其皮爾森相關值
Q.若是以PCM分析，看各題的平均難度是否意義不大？

比較多個時間點的因素結構的理由（文獻回顧）

以下為回顧前人進行多個時間點的因素結構比較的原因。
紫字標示者為我認為可用於我的論文的原因。

原因	比較方法	出處
之前的研究曾建議刪題，有些卻不用。或建議刪除的題目不同	Multiple group confirmatory factor (MGCF) model framework	[1]
欲測量的特質會受到特定因素影響（例如：生病後的時間長度、是否回到工作、社經地位）	Multiple group confirmatory factor (MGCF) model Framework、計算量表分數與其它特質的相關程度 (multi-trait- multi-method matrix ,MTMM)	[1, 2]
題目間的關係可能因為時間點不同而改變，導致因素結構改變	1.      直接比較分析結果、各題在不同時期的難度、平均分數與標準差 2.      Coefficient of congruence and Catttell’s Salient Similarity Index (Cattell, 1978)，用於CFA	[3, 4]
題目難度的排序可能因為評估時間點而不同	直接比較分析結果、各題在不同時期的難度、平均分數與標準差	[3, 5]
因素間的關係尚不確定	計算量表分數與其它特質的相關程度 (multi-trait- multi-method matrix ,MTMM)	[6, 7]
驗證現有的理論架構	1.      SEM （用於CFA的結果） 2.      Multi-group CFAs in a repeated-measures design	[8, 9]
欲驗證量表的測量不變性 (longitudinal invariance of the factor Structure/ measurement invariance) -因為個案在某些時間點可能無法/不適合回答某些問題 -因素結構若因時間而不同，不利於長期追蹤的結果比較	Multi-group CFAs in a repeated-measures design	[7, 9, 10]

搜尋長期追蹤之多次評估結果比較的關鍵字

為了搜尋長期追蹤之多次評估結果比較的論文，我主要嘗試了三套Medline搜尋策略（每一套中間有多次微調，但若記錄下來就太複雜了，因此略過不表）。
結果發現先找到適合的關鍵字 (本次搜尋的重要關鍵字是time points）之後，再以簡馭繁似乎是比較合適的方法。

第一套搜尋策略
搜尋策略

# ▲	Searches	Results
1	(construct validity or unidimension$ or factor analysis).tw.	32924
2	(compar$ or follow$ or cross time or over time or longitudinal).tw.	5288995
3	1 and 2	12591

結果：找到太多不相干的結果。我認為是follow、compare、cross time這3個詞彙的影響。刪除此三詞彙後，文獻數減少但精準度仍不高。
精準度：約1%（前100篇文獻中，可能符合搜尋目的的文獻）

第二套搜尋策略（增加『相近』的概念，希望可以縮小搜尋結果）

# ▲	Searches	Results
1	(construct validity or unidimension$ or factor analysis).tw.	32924
2	(similar or same or invarian$ or stable).tw.	2372315
3	("across time" or "time point$" or longitudinal).tw.	207793
4	1 and 2 and 3	331

結果：雖然搜尋到的篇數已經少於第一套搜尋策略，但不相干的結果仍然不少。我認為我可能沒有掌握到最適合的關鍵字。
精準度：約2%

第三套搜尋策略
搜尋策略

# ▲	Searches	Results
1	("across time" and "time points").tw.	342
2	(construct validity or unidimension$ or factor analysis).tw.	32924
3	1 and 2	12

結果：搜尋到的篇數減少且精準度大幅提升。然而我認為文章數似乎過少（因為關鍵字非常限定），因此改以Web of Science重新搜尋。閱讀最新的50篇與引用次數最高的50篇，搜尋結果的精準度約20%。
精準度：58%

OTES V2.6 認知訪談記錄（本院+中山）

I.        版面修改的建議

A.      建議放大基本資料、問卷題目的字體。
→同意。已將原本的字體大小（12號字）增大為13.5號字。

B.      建議於問卷上方註明收案標準，以免治療師忘記適合的個案對象。
→同意。

II.      評分的困難

A.      第15題（居家或病房活動的治療情形）：個案體力太差，無法執行居家或病房活動。這題是否應註明為N/A？
→建議降低居家活動的難度與量，以提升個案執行居家或病房活動的可行性。例如：建議執行ADL相關的練習。

B.      評估失語症個案的第2（主動討論）、4（態度正面）題有些困難。
→依個案狀況的實際表現填寫即可。

C.      個案認知狀況不佳，易分心，評估第6、7題時，表現不一致。
→依個案狀況的實際表現填寫即可。

III.    其它：

A.      此版本比之前的版本好寫許多，包含用詞易懂、排版易前後對照等。

B.      邀請參與認知訪談的治療師成為未來的量表使用者，是否會影響研究的效度？
→應該不會。治療師參與任認知訪談後，對量表應該會更加瞭解，有助於評分時選擇最接近個案程度的選項。