2015年3月17日 星期二

判斷異常作答需考量的事(項目反應理論)

最近要看一筆資料的作答情況是否異常,再決定是要刪除人或是刪除量表題目。
異常作答的概念是指不該得高分的人得了高分,不該得低分的人得了低分。
在教育領域出現異常作答,最常見的原因有可能是猜測或作弊。

實際判斷異常作答的時候,我認為有二個議題需要考量:
1.在那個能力範圍內算是合理?

合理的意思是當人的能力超過某個範圍,就應該答對或答錯(或者得高分/低分)。
但是範圍的界定並沒有一定的標準。因為每一題的試題難度估計都有誤差,如果是採二參數或三參數模式分析,還須考量鑑別度的問題。
所以到底這個能力範圍應該設定多寬,會是個問題。

我目前是把題目難度±1當作範圍的界定依據(因為題目難度的誤差通常不會超過1,所以我以大約2個標準差作為判斷依據)。
在這個範圍之內,我認為答對答錯都有可能(或者每個選項都有可能)。
當人的能力超過某個範圍,就不應該答對或答錯(或得最低/最高分)了!


2.那種作答結果算是異常?
當題目是二分題(只有對錯或是否),判斷上比較容易。
只要當人的能力超過某個範圍,就不應該答對或答錯(或得最低/最高分)了!
但是,當題目是多點計分,例如:1-2-3-4-5,過了我們限定的範圍之後,作答者合理的作答反應到底是什麼呢?是123與345嗎?
可是,當作答者能力在最高/低的時候還得3分合理嗎?
而且,也沒有一個臨界點可以作為判斷標準:只要能力在某個範圍之內,作答者一定只會得4分,絕對不會得5分。
通常只有機率高低的問題,沒有一定。

我目前是把能力大於題目難度+1的人當作高分群,高分群不可能得1、2分。
能力小於題目難度-1的人當作低分群,低分群不可能得4、5分。
至於得3分的人,只在能力最高和能力最低的人看是否有出現,以判斷異常。

以上是我的一點想法,歡迎大家分享意見。

2015年3月15日 星期日

增加OTK衛教人數的可能方法

因為願意參與OTK衛教的人數過少,所以我想了幾個可能可以增加收案人數的方法,以改善原本的研究設計之不足。
這些方法應該可以合併使用。
又,如果一個時段有二人願意參與,可考慮二人同時進行衛教。

原本的研究設計
參與者:中風個案或家屬(註:更早之前的參與者為中風個案與家屬,但目前的名單沒有符合此條件的參與者)
流程:參與者每日接受0.5-1小時的衛教(約需3日才能完成),並於衛教前後一日完成OTK測驗。
衛教時間:個案接受治療的時間、家屬/個案有空的時間


可能的方法一
邀請對象:中風個案或家屬
流程:個案或家屬同意參與之後,立即完成前測
                  ↓
            約1次完整的時間,把1.5-2小時的衛教內容講完
                  ↓
            衛教後隔日進行後測
衛教時間:家屬/個案有空的時間
優點:縮短研究所需天數,可以收到快出院的個案
缺點:仍需要同一位家屬參與3次、個案或家屬不一定願意抽1.5-2小時聽OTK


可能的方法二:
邀請對象:中風家屬
流程:發意願調查表給晚上才會出現的家屬(請個案或看護轉交)
                  ↓
            家屬同意參與之後,立即完成前測
                  ↓
            約1次完整的時間,把1.5-2小時的衛教內容講完(日夜皆可)
                  ↓
            衛教後隔日進行後測
優點:(1)縮短研究所需天數,可以收到快出院的個案家屬。(2)配合家屬到院時間提供衛教,可能可以找到較多家屬。
缺點:(1)仍需要同一位家屬參與3次。(2)個案或家屬不一定願意抽1.5-2小時聽OTK。(3)家屬在晚上已經累了,不想聽衛教。