2015年3月17日 星期二

判斷異常作答需考量的事(項目反應理論)

最近要看一筆資料的作答情況是否異常,再決定是要刪除人或是刪除量表題目。
異常作答的概念是指不該得高分的人得了高分,不該得低分的人得了低分。
在教育領域出現異常作答,最常見的原因有可能是猜測或作弊。

實際判斷異常作答的時候,我認為有二個議題需要考量:
1.在那個能力範圍內算是合理?

合理的意思是當人的能力超過某個範圍,就應該答對或答錯(或者得高分/低分)。
但是範圍的界定並沒有一定的標準。因為每一題的試題難度估計都有誤差,如果是採二參數或三參數模式分析,還須考量鑑別度的問題。
所以到底這個能力範圍應該設定多寬,會是個問題。

我目前是把題目難度±1當作範圍的界定依據(因為題目難度的誤差通常不會超過1,所以我以大約2個標準差作為判斷依據)。
在這個範圍之內,我認為答對答錯都有可能(或者每個選項都有可能)。
當人的能力超過某個範圍,就不應該答對或答錯(或得最低/最高分)了!


2.那種作答結果算是異常?
當題目是二分題(只有對錯或是否),判斷上比較容易。
只要當人的能力超過某個範圍,就不應該答對或答錯(或得最低/最高分)了!
但是,當題目是多點計分,例如:1-2-3-4-5,過了我們限定的範圍之後,作答者合理的作答反應到底是什麼呢?是123與345嗎?
可是,當作答者能力在最高/低的時候還得3分合理嗎?
而且,也沒有一個臨界點可以作為判斷標準:只要能力在某個範圍之內,作答者一定只會得4分,絕對不會得5分。
通常只有機率高低的問題,沒有一定。

我目前是把能力大於題目難度+1的人當作高分群,高分群不可能得1、2分。
能力小於題目難度-1的人當作低分群,低分群不可能得4、5分。
至於得3分的人,只在能力最高和能力最低的人看是否有出現,以判斷異常。

以上是我的一點想法,歡迎大家分享意見。

沒有留言:

張貼留言