自從疫情之後，學生們愈來愈接受在教室進行「線上測驗」。線上測驗相較於紙筆測驗，大幅降低老師的負擔。老師不僅不用印考卷、釘考卷、發考卷、收考卷、批改選擇題，還可以讓學生更快知道成績，無須另行公布。然而，我還是堅持考試中必須有選擇題和簡答題。選擇題佔60%，屬於基本盤的分數。簡答或問答題佔40%，屬於增加考題鑑別度之用。雖然每次改簡答題改不完就會抱怨自己為何要為難自己，但在某次考試看到學生的答案，讓我堅定非考簡答題/問答題不可！
簡答題、問答題不僅判斷實力，更可偵測作弊
由於採用線上測驗的防弊機制，學生的題目順序和選項都不一樣，若離開作答頁面則答案會被直接送出。在現場考試時，老師來回走動監考，學生間不太可能互相交流答案。但是在改考卷時，竟然發現一個學習狀況不好的學生回答出幾題困難的問答題，甚至還用英文作答！所謂的學習狀況不好包括：上課常在做自己的事、上課時常接手機或無故離席一段時間、抽籤抽到他回答便一臉茫然。可想而知，他的成績很不理想。
批改前一兩題時，我沒有懷疑他作弊，只當作他決定奮發向上了！但是愈改愈覺得疑雲重重：
- 簡單的題目答不出來，困難的題目卻寫得出來。
- 簡短的答案寫不出來，卻能寫出很長的答案，細節完整。幾乎和補充講義的文字一模一樣。
- 用英文作答：通常學生會避免在考試的時候寫英文，除非他們很熟悉那些單字，否則會擔心拼寫錯誤被扣分。他卻反其道而行，有幾題用英文回答。（我的講義是英文）
異常作答行為是什麼？
異常作答行為是測驗理論當中的一種概念。當作答者的作答結果和預期的作答結果（型態）不一致，即可能存在異常作答行為。用白話的方式解釋就是：當「考生的能力和試題難度的差距」（註）跟作答結果不相符，就會被懷疑作答異常。如果測驗題型為是非題或選擇題，有明顯對錯，較容易使用統計方法計算各種異常偵測指標，例如：Modified Caution Index、Within-Ability-Concern Index、Beyond-Ability-Surprise Index等。
在沒有標準答案的問卷當中，有可能是填答者並不想回答而全部作答相同答案，或是用梅花間竹的特殊型態作答（有興趣請見：無效問卷，究竟敷衍了誰？）。在有標準答案的測驗中，異常作答行為不一定是作弊，也可能是粗心、正好猜對、作答速度太慢以致於沒有寫到簡單的題目。但是「簡單的答錯，困難的答對」頻率太高，又能正確拼寫較長的英文單字，很難不懷疑是作弊。只能說他運氣太好，正好被研究測驗發展的老師（就是我）教到......
我可以理解作弊是學生不想被當而做的掙扎，但這個行為非常不可取。就算靠作弊過了這一關，之後臨床實習也能在病人面前作假嗎？衷心希望那位學生可以了解自己努力不夠（他不是能力不好）以致於學習成果未達標準這件事。接受自己需要更用心才會學好，才能真正開始學習。
若是志不在此，也祝福他早日找到適合的領域，腳踏實地地學習與發展。
延伸閱讀：
- 黃財尉. (2008). 不同資料結構下異常作答指標決斷值的探討. 輔導與諮商學報, 30(1), 1-16.
- Meijer, R. R., & Sijtsma, K. (1995). Detection of aberrant item score patterns: A review of recent developments. Applied Measurement in Education, 8(3), 261-272.
- Jia B, Zhang X, Zhu Z. A Short Note on Aberrant Responses Bias in Item Response Theory. Front Psychol. 2019 Jan 31;10:43. doi: 10.3389/fpsyg.2019.00043. PMID: 30766496; PMCID: PMC6365413.
沒有留言:
張貼留言