2022年1月9日 星期日

無效問卷,究竟敷衍了誰?


學期將盡,許多老師會安排課程回饋或同儕互評,了解學生對於課程的想法與小組合作情形。我的課程多以分組方式進行,一定會參考同儕互評的結果評定課程參與度的分數。我以十個選擇題加一題開放性提問(請用三句話描述這位同學在這門課的表現)作為互評內容。原以為小組成員密切合作了一學期,想出三句話形容同組成員並不困難。然而結果出乎預料!

我看了填答結果,發現大約1/3的學生給同組成員一模一樣的評語,例如:「認真、主動、配合度高」、「有出席、有上課、有做事」,甚至有學生全部以一張貼圖代替。相較於課程討論的積極投入,貼圖與複製貼上的內容讓人頗為失望。是基於什麼理由決定給所有人一樣的評語呢?我推敲了一下,大致可歸納為逃避、敷衍、能力不足三種情況。
  • 逃避:逃避思考、逃避為別人的分數負責,例如:寫這個好麻煩,還要思考、我不想寫真實的狀況,免得影響到其他人的分數。
  • 敷衍:做事不切實,表面應付,例如:有寫就好。反正老師應該也不在意寫的內容吧?(註1)
  • 能力不足:觀察與表達能力有限,無法具體描述同學的表現,因此感覺大家都差不多、真的寫不出來。
無效問卷,一眼看穿
不管是什麼原因導致填寫一樣的答案,在問卷分析的世界裡,這些作答都會造成同一個結果:無效問卷。無效問卷的意思是指這份問卷的結果不值得列入分析,因為內容不可信。分析人員怎麼判斷結果是否可信呢?常見的判斷標準有三項:
  1. 漏答率過高:一般作答漏填一、二題並不罕見,但漏答了問卷>10%的題目,最常見的二種可能是填答者不太用心,或是題目所問為個人不想透露的事。當填答者不用心,不只沒寫的題目無法分析,說不定連有寫的題目也是看錯或亂寫;當題目問了填答者不想透露的事,例如:收入、私生活、政治傾向等,可能被刻意跳過。
  2. 作答模式具特殊規律:當問卷題目偏多,填答者為了交差了事,可能每題回答相同答案,或以特定規律作答,例如:各題依序填答非常不同意、不同意、同意、非常同意。粵語甚至有個文雅的說法,稱之為「梅花間竹」,意即刻意穿插佈局,錯落有致。
  3. 邏輯衝突:為確保填答者是認真思考後才作答,有時問卷會設置反向題作為「防偽」(註2)。問卷設計者會在一連串正向敘述中穿插部分反向敘述的題目(或一連串反向敘述中穿插正向題目),偵測是否出現邏輯衝突。例如:一個人在部分題目呈現「我喜歡吃蘋果」,又在其它題目呈現「我討厭吃蘋果」,就屬邏輯衝突(註3)。
填寫無效問卷會怎麼樣嗎?
老實說,填寫無效問卷對於在校成績影響不大,但逃避、敷衍、能力不足的問題,可能讓這些學生臨床實習甚至未來工作過得比別人更加辛苦。最直接的衝擊就是寫病歷記錄。不管任何醫學領域,都需要時常評估並記錄病人的狀況,從接案報告 (initial note)、治療日誌 (daily note)、進展報告 (progress note)、結案報告 (discharge note),甚至團隊會議的個案報告 (case report),都需要對病人有較為深入的了解才能寫出實質內容,包括質性的觀察描述,還需正確解讀評估數據、訂定治療目標與計畫。更困難的是和病人的相處時間不長、見面次數不多。

如果相處了一學期還寫不出同組其他四人的不同特質,未來實習一週有>20位病人需要寫治療日誌,再加上定期的進展報告、臨時出現的接案報告、聯合評估 (interdisciplinary assessment)報告與結案報告,日子要怎麼過下去呢?難怪每一屆都有學生因為病歷交不出來而實習卡關。

填寫問卷通常不是開心的事,想要逃避、敷衍也是難免。往遠一點看,臨床實習挑戰的不是只有知識和技能,更重要的是態度。態度的問題在學校老師的包容下可以輕輕舉起,輕輕放下,但是在臨床單位必須對別人的生命負責,對自己的工作成果負責,如果還是逃避與敷衍,根本不適合當醫療人員。
說穿了,想逃避、敷衍的,到底是什麼呢?
-------------------------------------------------------------------------------------------------
後記
人生不如意事十之八九,古人建議「常想一二」。或許,我也該正向思考:至少有2/3的學生很有誠意地思考與填寫表單、3/4的學生在期限內送出表單,遠超過一二,算是很幸運了!

註1、請學生寫同儕互評,是因為期初已說明列入評分。此外,我從研究所開始養成的專長即是評估工具的發展與驗證,發現問卷/測驗的異常結果幾乎是本能反應了……
註2、反向題的設置目的為揪出作答模式有特殊規律的狀況,也可找出不用心的作答。但有時候反向題實在太不明顯,填答者可能不小心填錯,所以紙本問卷遇到類似的狀況,會以粗體加底線或網底強調反向文字。又,有些學者認為反向題和原本想測量的概念可能不同,甚至信效度不佳,必須審慎使用。
註3、作答結果的邏輯衝突判斷方式有多種,反向題只是其中一種。有標準答案和沒有標準答案的題目,也有不同的判斷方式。舉例而言,在有標準答案的情況下,簡單的題目答錯,困難的題目答對,應該是猜對的,而非能力達到分數所顯示的水準。

沒有留言:

張貼留言