2013年8月30日 星期五

我對於提升OTK測驗的反應性的一些看法

我認為反應性的概念為測量工具可以反應出受測者能力變化的程度。
反應性的公式如下(此處以SRM為例):
SRM=
平均Dx/SDDX
 
平均Dx:前後測差異的平均值
  SDDX
:前後測差異的標準差
如果要提高測驗的反應性,應可從提升平均Dx和減少前後測差異的標準差著手。
目前我沒有想到或找到減少前後測差異的標準差的方式,但有想到其它可能可以改善反應性的文章,
因此僅就提升平均Dx的可能方法與其它可提升反應性的方法作說明。

I.        提升平均Dx的可能方法
        A.      增加重要的題目:增加重要的題目可使測驗更精準地區分不同能力的個案,而當個案能力改變時,也能更精準地呈現。1
        B.      增加量尺數:增加量尺數可更細緻地區分不同能力的個案,而當個案能力改變時,也能更精確地呈現。1
可能遭遇的困難:OTK測驗為是非題,除非改成複選題,否則難以增加量尺數。然而,若將OTK改成複選題可能使題目過於複雜或困難。
     
 C.     
以題目的重要性加權各題得分:越重要的題目加權越多。2例如:將重要性分為1-5分(非常不重要-非常重要)。
計算反應性時,非常重要的題目的得分乘以5,非常不重要的題目得分乘以1
可能的困難:應以治療師對於重要性的判斷為主或以個案對於重要性的判斷為主?
     
D.    
IRT score計分:例如:以題目的難度與鑑別度相乘作為IRT score計分。3
可能遭遇的困難:若OTKformative model,則題目難以符合IRT model,而無法在同一個量尺上排序。
     
E.     
凸顯介入的成效:
1.      提升OTK教材品質:教材容易理解、吸收的程度會影響OTK測驗之分數改變情形。若教材品質不佳,介入的效果不明顯,則難以呈現反應性。
2.      縮短再測時間:若再測時間過長,受測者可能會遺忘教材內容而無法呈現反應性。
*
我的疑問:計算反應性要用同一份測驗或複本?
可能遭遇的困難:再測時間過短,測驗分數可能受前一次作答結果影響為主,而非衛教介入的成效。


II.      其它可提升反應性的方法
題目的品質也會影響反應性大小。
好的題目應可較為敏感地呈現個案的能力改變。
文獻回顧的結果發現有學者以各題的effect size以及與總分間相關挑選題目。4
這個作法應有助於選出好的題目。
而這個作法可能遭遇的困難為OTK題目量不足以進行刪題、題目與總分相關可能不高(若OTK之「最小單位」為formative model)。

綜合以上,我認為I.A.I.C.I.D.I.E.1.II.的作法較為可行。
----------------------------------------------------------------------------------------------
最後,我對於OTK測驗可能為formative model有些想法:
之前老師在部落格上提到:若以指標分數呈現OTK測驗分數可能使反應性不佳。
如果以重要性加權每個題目,再將一份教材-測驗(例如:OT的定義)中的題目加權後分數加總並計算反應性,是否可行?
因為指標分數是每個題目分數的線性轉換的綜合結果,
應該也可以總分表示受試者之特定OTK程度。

感謝菀薈提供反應性與IRT概念之諮詢。

參考文獻


沒有留言:

張貼留言