OTES附檢核表 一致性分析結果（5/2更新）

以下資料為治療師與實習生依據個案一週內每次上課的表現，每次下課後填寫個案的參與度情形。
共9位個案參與研究，蒐集32筆有效資料（一位個案可能被記錄2-5）。
數字版為0-1-2-3計分，檢核表版為0-1計分。
不論數字版或檢核表版，我皆將每題得分加總得到總分，計算ICC。
以下分析分成二部分：(1)治療師和實習生的一致性分析、(2)我和實習生、治療師評分的一致性。

(1)治療師和實習生的一致性分析

數字版

ICC=0.84 (0.43-0.96)，明顯優於第一次收案(N=203)的結果，但信賴區間很大。
一致性百分比介於0.22-0.78，共9題之一致性百分比明顯優於第一次收案之結果。
kappa介於0.15-0.79，部分數值高於之前的結果（詳見下表）。

0-1計分版（檢核表）

ICC=0.75 (0.54-0.87)
一致性百分比介於0.69-0.91，所有項目之一致性皆明顯優於第一次收案的結果。
kappa介於0.15-0.79，部分數值高於之前的結果。因為0-1計分，個案程度若偏高或低，kappa會受大很大影響。

表、 OTES一致性

編號	題目	一致性百分比			kappa
		N=203	數字版	0-1計分版	數字版	0-1計分版
1	不須催促即可主動投入治療活動	0.41	0.78	0.84	-	0.60
2	主動與治療師討論個人最近的病情（含進步、退步或沒有進步）	0.37	0.44	0.81	0.02	0.45
3	可保持專注直到一次治療時間結束	0.46	0.67	0.75	0.48	0.34
4	對治療活動抱持正面或愉快的態度	0.37	0.33	0.78	0.10	0.56
5	主動向治療師提出自己所接受的職能治療活動的疑問	0.46	0.22	0.72	-	0.56
6	容易受治療師的鼓勵而更加投入活動	0.33	0.67	0.78	-	0.44
7	仔細聆聽治療師的指示或看動作示範	0.40	0.56	0.91	-	0.74
8	正確地執行治療師設計之治療活動，而不會自行調整活動內容	0.52	0.56	0.78	-	0.18
9	願意嘗試新穎或不熟悉的治療活動	0.36	0.56	0.69	-	-
10	可接受對生理或心理有挑戰性的活動	0.43	0.56	0.91	-	0.79
11	願意接受治療師的建議以修正自己的動作或其它表現	0.48	0.56	0.88	-	0.45
12	配合並遵從治療師的指示	0.49	0.67	0.75	-	0.15
13	可於治療結束前完成治療師建議的活動次數或時間	0.53	0.44	0.78	-	0.40
14	盡力參與治療活動	0.58	0.78	0.88	-	0.67
15	準時出席治療活動，且不會無故缺席	0.58	0.78	0.97	-	-
16	執行治療師建議之居家或病房治療活動	0.41	0.44	0.72	0.29	0.39

*藍字表示一致性百分比>0.8或kappa>0.6的項目。
**黃底表示一致性百分比大於N=203（第一次收案）的一致性百分比0.1以上的項目。
***數字版應計算weighted kappa，但因多題有部分選項沒有被填寫到，無法計算，也難與第一次施測結果比較。且kappa值不高，因此未計算weighted kappa。

結論：
1. 以0-1計分的方式，一致性百分比明顯優於之前的結果。未來可將0-1計分的格式加入OTES。
2. 增加0-1計分版的內容有助於提升原版（0-1-2-3計分）OTES的一致性，但ICC信賴區間仍大。

(2)我和實習生、治療師評分的一致性（觀察一位個案三次的治療）
數字版
以總分而言，我和治療師填寫的總分皆42分，實習生填寫為44分。
就分數有差異的題數而言，我和治療師有7題評分不同，分數差異介於1-2分；我和實習生有2題評分不同，分數差異皆1分。

檢核表版
和治療師的評分相較，只有第2、5、8、16題的評分非完全一致。
和實習生的評分相較，只有第2、8題的評分非完全一致。（原因是這兩題我評N/A）

結論：實習生的評分和我比較相近，且差異不大。

補充：當我發現實習生和個案的互動缺乏填寫某些題目的線索時，我有提醒實習生要做到某些事，例如：鼓勵個案、換新活動、詢問居家活動執行情形。可能因此造成實習生特別關注某幾題而提升我和實習生的評分一致性。