顯示具有 [工具集]統計概念 標籤的文章。 顯示所有文章
顯示具有 [工具集]統計概念 標籤的文章。 顯示所有文章

2015年10月29日 星期四

2015年4月1日 星期三

[Rasch] person reliability的意義(待確認)

Person reliability是羅序分析的信度指標。
但是我不太瞭解person reliability的概念應該如何解釋。
以下是我整理自己的概念之後,對於person reliability的概念說明。

錯誤理解:person reliability與Cronbach's α 是類似的概念,數值通常也差不多。

正確的概念:person reliability是由每個人能力估計的標準誤 (standard error, SE)所計算出來的數值。當SE越小,person reliability越大,表示這個工具能夠越精準地估計人的能力。
Cronbach's α 是由題目間的相關所計算出來的數值。當題目間相關越高,Cronbach's α值越大,表示題目越相似。
然而,當題目過於相似,Cronbach's α 會很大,但是在羅序分析中,可能就無法準確估計到某些能力的人。例如:題目難度集中在中間,在估計能力偏高或偏低的人時,SE就會很大。
當SE大,person reliability就會小。
因此 person reliability和Cronbach's α是不一樣的。

[Rasch]階難度沒有倒置 (disordering)的概念、意義、圖示與處理方法

階難度沒有倒置 (disordering)的定義:
在羅序分析當中,如果使用PCM進行分析,每題都會得到一組階難度的估計值。若由階難度的數值由低階排到高階是按照由小到大的順序,則表示沒有倒置。

階難度沒有倒置的意義:
1.表示每個選項都有人作答,而且不會有那個選項的作答人數特別少。
2.無多餘的選項。
Ref. Hsiao, Y.Y., et al., Examining unidimensionality and improving reliability for the eight subscales of the SF-36 in opioid-dependent patients using Rasch analysis. Qual Life Res, 2014.

呈現有無倒置的適當圖示:The response category probability curve

左圖為沒有倒置的作答機率曲線。每條曲線表示每個選項在所有能力的情況下被選到的機率。而每個選項在不同的能力狀況下,都有機會是最可能被選到的選項。例如能力值落在-0.4~-0.1,最可能被選到的選項是2。
右圖為有倒置的作答機率曲線。選項2的曲線在任何時候都低於其它曲線。表示這一群作答者幾乎沒有人選2。

發現階難度有倒置的處理方法:
1.不處理。因為這可能是這一群作答者的特性。換一群作答者不一定會有倒置的情況。
2.合併選項再重新分析。例如:將0-1-2-3合併成0-1-2,把原本的2和3合併成一個選項。

階難度倒置的錯誤解釋:
disordering of the step, indicating that the response categories could not effectively differentiate the patients from each other and were thus redundant.
Ref. Hsieh, C.L., et al., A Rasch analysis of the Frenchay Activities Index in patients with spinal cord injury. Spine (Phila Pa 1976), 2007. 32(4): p. 437-42.


2015年3月17日 星期二

判斷異常作答需考量的事(項目反應理論)

最近要看一筆資料的作答情況是否異常,再決定是要刪除人或是刪除量表題目。
異常作答的概念是指不該得高分的人得了高分,不該得低分的人得了低分。
在教育領域出現異常作答,最常見的原因有可能是猜測或作弊。

實際判斷異常作答的時候,我認為有二個議題需要考量:
1.在那個能力範圍內算是合理?

合理的意思是當人的能力超過某個範圍,就應該答對或答錯(或者得高分/低分)。
但是範圍的界定並沒有一定的標準。因為每一題的試題難度估計都有誤差,如果是採二參數或三參數模式分析,還須考量鑑別度的問題。
所以到底這個能力範圍應該設定多寬,會是個問題。

我目前是把題目難度±1當作範圍的界定依據(因為題目難度的誤差通常不會超過1,所以我以大約2個標準差作為判斷依據)。
在這個範圍之內,我認為答對答錯都有可能(或者每個選項都有可能)。
當人的能力超過某個範圍,就不應該答對或答錯(或得最低/最高分)了!


2.那種作答結果算是異常?
當題目是二分題(只有對錯或是否),判斷上比較容易。
只要當人的能力超過某個範圍,就不應該答對或答錯(或得最低/最高分)了!
但是,當題目是多點計分,例如:1-2-3-4-5,過了我們限定的範圍之後,作答者合理的作答反應到底是什麼呢?是123與345嗎?
可是,當作答者能力在最高/低的時候還得3分合理嗎?
而且,也沒有一個臨界點可以作為判斷標準:只要能力在某個範圍之內,作答者一定只會得4分,絕對不會得5分。
通常只有機率高低的問題,沒有一定。

我目前是把能力大於題目難度+1的人當作高分群,高分群不可能得1、2分。
能力小於題目難度-1的人當作低分群,低分群不可能得4、5分。
至於得3分的人,只在能力最高和能力最低的人看是否有出現,以判斷異常。

以上是我的一點想法,歡迎大家分享意見。

2015年2月10日 星期二

[思考]把原始分數轉為等距量尺 (interval scale) 的意義為何?

我最近看了一些羅序分析的文章,部分文章的研究目的是把量表的原始分數(通常為序列量尺)轉換為等距量尺 (interval scale)的型態。
然而我有一個疑問:如果量表應用於特定族群的羅序分析的結果只能應用在驗證的族群上(例如:SCI一年以上、中風後半年),
當驗證的族群比較侷限的時候,將量表分數轉為等距量尺的意義是否很有限?
例如:分數只適用於中風後半年的人,而此分數未必適用於中風未滿半年或半年以上的人,因為這些人參數估計的結果未必和中風後剛好半年的人相似。

我的想法是:如果驗證的對象涵蓋範圍比較廣,像是中風後半年以上、慢性思覺失調症,
把量表的原始分數轉換為等距量尺的分數以供後人對照與參考,意義較大。
如果驗證的對象涵蓋範圍較窄,像是職業災害後一個月、中風後三個月,
把量表的原始分數轉換為等距量尺則比較像是附加產品或中間產物,目的是要進行下一步的運算(例如計算反應性)。

不知道這樣的想法是否合理?
再麻煩大家提供意見囉!謝謝。

2015年1月20日 星期二

請教王老師的問題記錄:measurement invariance的判斷指標、後續處理、CFA和Rasch analysis分析結果的差異

主題一、Measurement invariance的判斷指標
Measurement invariance是古典測驗理論的用語,表示量表在不同族群、時間點使用這個量表,皆可以得到相似的心理計量特性。此概念在IRT當中,就是此量表沒有差別試題功能 (differential item functioning, DIF)。
補充:DIF的定義為不同種類(例如:年齡、性別、教育程度)但能力相同的個人,如果在答對某個試題上的機率有所不同的話,則該試題便顯現出 DIF 的現象。
Measurement invariance可謂一種理想,實際上沒有完美的量表。因此就看使用者願意接受多少的不完美。


以下為對於幾個指標的驗證方法的說明:
1.單一因素結構:可視量表的用途決定MNSQ可接受的範圍,例如把範圍從0.6 - 1.4 改為  0.8 - 1.2,以調高標準。

2.題目難度排序:題目難度排序做直接比較。但須思考比較題目難度的排序是否恰當。如果有題目的難度排序變化過大,則可考慮不採計此題的結果,改以共通題的分數估計這題可能的分數。

3.題目難度值:可計算不同時間檢的題目難度之相關,或看各題得分的平均與變化量。

4. Person reliability:可用Spearman-Brown formula計算量表的信度0.89時,要增加幾題才能變成0.92。如果不需增加很多題目,就可視為信度是穩定的。


主題二、若工具不具備Measurement invariance,應如何處理?
驗證Measurement invariance之前,需先說明為何會擔心不一致?為何要驗證特定變項對一致性的影響?不一致又會造成什麼結果。
若量表的使用目的是作為重要的判斷依據(例如疾病診斷或大型考試的錄取判別),則可容忍的誤差程度比較低。
若量表的使用目的是用於團體比較,可允許的誤差較大。

關於是否需刪題,如果題目太少,就不一定要刪題。

主題三、若CFA單因素分析與Rasch分析結果不同,應採信何者?
二者概念不同,不可直接比較。
有時候CFA為單因素,Rasch分析結果不是單因素,並不表示Rasch比較寬鬆。
而是因為我們採用寬鬆的標準看待Rasch分析的結果。
如果改用嚴格的標準,例如:MNSQ改用0.8-1.2的標準,量表未必就會符合單向度。


2015年1月10日 星期六

請教王文中老師的問題(1/13更新)

I.        問題一:若欲驗證評估工具的measurement invariance,使用哪些指標與驗證方法較為適宜?以下所列的各種判斷指標與驗證方法之優缺點是否恰當?有無其它更好的驗證方法?
指標
驗證方法
優點
缺點
因素結構
in fit, out fit 的MNSQ <1 .4="" span="">、殘差的PCA的第一因素 < 2判斷是否符合單向度
判斷標準明確
若分析多個時間點,有時後要刪題,有時候不需刪題。因素結構是否一致?
題目難度排序
直接比較
判斷標準明確
當題目內容與個案的其它特質(例如:文化)有交互作用時,題目難度排序似乎並不適合作為判斷指標。
題目難度值
1.看絕對的難度數值
2.計算不同時間點的題目難度之相關
數值容易取得
1.如何判斷數值的差異多少,是可以接受的?
2.相關係數的判斷標準為何?( > 0.6即為高相關,但是題目難度的相關程度0.6,似乎不算高)
Person reliability
直接比較
數值容易取得
如何判斷數值的差異多少,是可以接受的?
補充說明:
1.      measurement invariance (又稱measurement equivalence)是指評估工具應用於不同時間點或族群時,可得到相似的心理計量特性的結果。
2.    用於IRT,  measurement invariance的指標包含因素結構、題目難度排序、題目難度的數值、信度。

II.      問題二:若評估工具不具備measurement invariance(例如:題目難度的排序有變化),請問您建議如何進行後續處理(例如:刪題?)、應用時又該留意什麼事情?


III.    問題三、當Rasch分析為單向度,CFA的結果卻不是單向度,應該採信那一個結果呢?請問可能會是甚麼原因造成這個結果?
補充說明
1.      量表特性:一般自我效能量表(General self-efficacy scale), 共10題。每題皆為4點量尺,無反向題。分數越高表示自我效能越好。

2.      資料特性:受訪者為1176位肢體受傷的住院病人,年齡、教育程度與工作類別差異很大。一般自我效能量表的評量分數偏高。

2014年11月27日 星期四

一般自我效能量表於各時間點之因素結構分析結果

各時間點羅序分析結果
時間點
刪題情形
階難度
倒置
信度
可解釋變異量(%)
殘差第一因素的特徵值
受傷後2週
3題(第1-3題)
無
0.92
71.6
2
受傷後1個月
0題
無
0.89
59.6
<  2
受傷後3個月
0題
無
0.90
61.9
<  2
受傷後6個月
1題(第3題)
無
0.92
67.9
<  2
受傷後12個月
1題(第3題)
無
0.91
66.7
<  2
受傷後24個月
0題
無
0.91
58.0
<  2
→各時間點的羅序分析結果皆顯示一般自我效能量表為單面向結構,具備良好信度,可解釋變異量也接近或符合可接受的標準。然而個案程度與題目難度之間有明顯的差距 (gap)。

CFA結果
時間點
RMSEA
殘差有相關的題目(僅列出三組)
受傷後2週
0.085
V1-2, V4-5, V9-10
受傷後1個月
0.075
V9-10, V9-8, V2-1
受傷後3個月
0.099
V9-10, V1-2, V9-8
受傷後6個月
0.124
V9-10, V9-8, V4-6
受傷後12個月
0.139
V9-7, V7-5, V10-8
受傷後24個月
0.151
V1-2, V9-10, V9-8
*RMSEA標準  <  0.06
→
各時間點的CFA的RMSEA皆顯示一般自我效能量表並非單一面向。雖然有其它適配度指標符合標準,但RMSEA為最常用的指標,一般都會列出。

個人想法:羅序分析的結果與CFA分析結果並不一致。擇一呈現即可。


2014年11月25日 星期二

壓力知覺量表與一般自我效能量表之建構效度與預測效度驗證

以下是我分析壓力知覺量表與一般自我效能量表之建構效度的結果。

壓力知覺量表
此量表有3個版本:14題版、10題版、4題版,而後二個皆為原作者自行刪題而得。由於10題版的預測效度較佳,原作者與部分學者皆推薦使用10題版。
PSS的因素結構在原作者發展PSS時並未說明。經後續驗證,14題版與10題版皆較符合2因素結構,4題版為單一因素結構。然而在使用分數時,原作者將量表分數加總使用,未分成二個因素的分數分別計算。
…………………………………………………………………………………………………………
我嘗試分析的結果(4題太少,未納入分析):
由於最後是算一個總分,因此我先當成一因素進行羅序分析。
結果如下:

Person reliability
不符合適配度指標的題數
刪題後
14題版
0.74
3
刪除4題後仍有3題不符合指標。
10題版
0.77
1
 刪除1題後仍有1題不符合指標。


以下是EFA結果:

因素數目
(以陡坡圖轉折點之前的數目判斷)
可解釋變異量
備註
14題版
2因素
51.2%
1. 需刪除4題(出現在第3、4因素)
2. 前二個因素的題目分類與前人研究的分類一致(第3、4因素的題目被歸類在第一因素)
10題版
2因素
53.9%
陡坡圖的轉折不是很明顯
 →目前分析的結果顯示壓力知覺量表應非單因素結構,但二因素的可解釋變異量又很有限。若要以此結果撰寫論文,會有點難解釋。

2014年8月28日 星期四

組內與組間的效應值 (effect size)之應用

這次撰寫RCT的研究計畫,學習到組內與組間的效應值的概念。
如果是以同一群樣本前後測的分數變化計算效應值,就是組內 (within-group)的效應值。
如果是以ANOVA或ANCOVA比較二群以上的樣本的前後測分數變化,並且用ANOVA table或ANCOVA table所得的誤差平方和 (SSe)和組間平方和 (SSb)換算成 f值(一種效應值的指標),就是組間效應值,可直接比較二組分數差異。

觀念釐清:
1.為什麼要計算組間效應值?
我之前以為分別計算二組的組內效應值,再比較那一組的效應值比較大即可。
然而如果二組的效應值只差一點,就不知道二組的效應值是否有顯著差異了!

2.是否要看ANOVA或ANCOVA的結果是否有顯著,再決定要不要算效應值?
不需要。統計結果顯著並不能呈現差異的多寡,因此可以二者都做。又,統計結果是否顯著易受樣本數大小影響(樣本數不足,很可能不顯著),因此二種分析都做可以得到較完整的資訊。
另外,若RCT資料分析結果發現統計不顯著但是有中度或高度效應,在小樣本的情況下可解釋為有療效,統計為顯著只是樣本數不足所致。這樣的結果,仍有機會可以投稿被接受。

謝謝老師讓我有機會練習撰寫RCT的研究計畫並澄清這些概念。

2014年6月11日 星期三

2014/5/13-6/10論文寫作課程記錄

I.       寫作技巧
         A.    段落層級
1.      字句
a.       研究流程當中的中間產物當以過去式描述之。
b.      意義有限的文句可省略,無虛無括弧中補充。
c.       “Trend”一字有暗示相關性不顯著的意思。
d.      應適當斷句,避免一個句子超過一行。
e.       標示公式時,應以括號區別數值是與分子或分母相乘。
f.       避免使用should,改以suggest為宜。因為語氣較不強烈。

2.      結構
a.       前後的文的概念、數量需可明確對照。
反例一:本測驗包含3個題目,可得到4個面向的評估結果。
→若施測情形確實如此,應補充說明這個設計的目的、原因以及如何將三個問題歸納出四個分數。
反例二:主題句:BI-SS的效度已經被驗證過了!/結尾句:BI-SS的建構效度已被驗證。
→效度有多個,結尾只有一個建構效度。二句的內容不對等。
例一:問卷包含2題,資料分析與結果皆須呈現此2題的資料處理方式與彙整結果。
b.      避免使用新名詞解釋新概念,以免讀者困惑。
c.       介紹理論時,應先介紹其定義,再說明如何評估。
d.      在一個定義下所包含的內容若有例外時,需補充原因。例如:「有工作」的定義為「有薪水」。接受職業訓練雖無薪水,但仍屬有工作。原因為……。

3.      思考判斷
a.       流程的部分,應該提到本研究發展的工具的細節嗎?
→工具的細部內容應在結果呈現,於流程不應交代過多。就算因為工具本身特殊的施測方式導致流程的安排不同,只要簡單交代何時使用那個工具即可。例如:無須在流程交代前五天使用檢核表版OTES,第五天使用數字版OTES。因為在流程完成之前,工具尚未產生,而且從前文也看不出來工具分成檢核表版和數字版。故只需於結果交代。
b.      標準化測驗的重點是評估工具與流程標準化,而非評估的空間標準化。