2014年3月17日 星期一

OTES 各題施測者間評分差異分析 (3/19更新)

為了解OTES有那些題目需要大幅度修改,我將各題的施測者評分差異進行描述性統計的分析。
結果如下表所示。
此處的Range、Mean、SD、Skewness與Kurtosis是以施測者間評分差異進行描述性統計的分析結果。
OTES之計分方式為四點量尺 (0-1-2-3)。

Range之計算方式如下:「治療師評分減實習生評分」之差異的範圍。治療師評分減實習生評分的最大值為3(治療師評分比實習生評分高3分),最小值為-3(治療師評分比實習生評分低3分),因此Range介於 ± 3之間。

黃底標示表示該數值超過標準,紅底標示表示該數值為最不符合標準,藍字粗體表示該題至少有一個項目不符合標準。
第5題有4個指標不符合標準,亟需修改。
第3、6、8、12題雖然僅有1個指標不符合標準,但平均和標準差較大可能表示評分者對此題的理解或計分標準有差異,影響施測者間信度。故亦需修改之。



為提升評分者對此題的理解或計分標準之一致程度,我的修改規畫如下:
1.於施測手冊中清楚說明各題的定義:例如:題2-主動與治療師討論個人的病情。
「討論」的定義:於治療中或下課後,由個案本人主動提出對於自己的病情或表現(含進步、退步或沒有進步)的疑問,或於治療時向治療師提及自己的病情。討論的情境不限於一定要專心講話,一邊做動作,一邊討論也符合本題討論的定義。
2.於施測手冊補充容易造成疑義的情況:例如:
若個案糾結於同樣的問題而一再提問或抱怨,則不屬於討論。例如:一直抱怨自己的手還是不能拿筷子、抱怨自己無法行走。

3.於量表上註明各個分數的評分標準:例如:
    0 一週內,從未與治療師討論病情    1 一週內,曾與治療師討論病情1    2 一週內,曾與治療師討論病情2次    3 一週內,曾與治療師討論病情超過2


4.於施測手冊補充實際的評分範例:例如:
   (a) 若個案一週接受OT 5次,於一週內曾與治療師討論超過2次,則計分為3。討論2次,計分為2。討論1次,計分為1
   (b)
若個案一週接受OT 2-3次,於一週內曾主動與治療師討論過2次,則計分為3。討論1次,計分為2。雖然這週沒有討論,但上週有討論,計分為1。這週與上週皆未討論,計分為0


表、OTES各題施測者間評分差異之分析
題號
題目
Range
Mean
SD
Skewness
Kurtosis
1
不須催促即可主動投入治療活動
-2~2
0.0
0.9
-0.4
-0.3
2
主動與治療師討論個人最近的進步情形或病情變化
-2~3
0.1
1.0
0.1
0.0
3
保持專注直到一項治療活動結束
-2~2
0.3
0.9
0.1
-0.2
4
對治療活動抱持正面或愉快的態度
-2~2
0.0
0.9
0.1
-0.8
5
主動向治療師提出自己所接受的職能治療活動的疑問
-3~3
0.1
1.0
-0.3
1.2
6
容易受治療師的鼓勵而更加投入活動
-2~2
0.0
1.0
0.0
-0.7
7
仔細聆聽治療師的指示
-2~3
0.2
0.9
0.1
0.2
8
正確地執行治療師設計之治療活動,而不會自行調整活動內容
-2~2
0.2
0.8
0.1
0.1
9
願意嘗試新穎或不熟悉的治療活動
-3~2
-0.2
1.0
-0.1
-0.1
10
可接受對生理或心理有挑戰性的活動
-3~2
-0.1
1.0
-0.2
0.2
11
願意接受治療師的建議以修正自己的動作或其它表現
-2~2
0.0
0.8
0.1
-0.5
12
配合並遵從治療師的指示
-2~2
0.2
0.8
0.0
-0.1
13
可於每次治療結束前完成治療師建議的活動次數或時間
-2~2
0.1
0.8
0.0
0.3
14
盡力參與所有治療活動
-2~2
0.0
0.8
0.3
0.8
15
準時出席治療活動,且不會無故缺席
-1~2
0.1
0.7
0.2
-0.1
16
執行至少一項治療師建議之居家或病房治療活動
-2~3
0.0
1.0
0.3
0.2

4 則留言:

  1. 1. range 如何計算?請補充。
    2. rater 皆針對個案,而非家屬評量!?
    3. 請補充「評分標準說明」之修改,以利一併考量。

    回覆刪除
    回覆
    1. 謝謝您的提問。以下是我的補充。
      1. Range之計算方式如下:「治療師評分減實習生評分」之差異的範圍。治療師評分減實習生評分的最大值為3(治療師評分比實習生評分高3分),最小值為-3(治療師評分比實習生評分低3分),因此Range介於 ± 3之間。為方便讀者瞭解到底各題差異的最大值與最小值之差距,因此改以0-6標示 Range。

      2. OTES的內容皆是針對個案評量,而非家屬。因此若家屬比個案積極,個案的OTES分數可能會受影響。

      3.「評分標準說明」之修改主要包括4方面:於施測手冊中清楚說明各題的定義、於施測手冊補充容易造成疑義的情況、於量表上註明各個分數的評分標準、於施測手冊補充實際的評分範例。各方面之範例請見正文藍字的段落,謝謝您。

      刪除
  2. Many thanks!
    「最小值為-3(治療師評分比實習生評分低3分),因此Range介於 ± 3之間。為方便讀者瞭解到底各題差異的最大值與最小值之差距,因此改以0-6標示 Range。」
    改成 0-6 易誤導亦無必要。

    回覆刪除
    回覆
    1. 謝謝的建議。我已刪除「為方便讀者瞭解到底各題差異的最大值與最小值之差距,因此改以0-6標示 Range。」,並將表格中的Range改為-3~3之間的區間代替。

      刪除