OTES施測者間信度與EFA之研究設計/結果說明 （更新1/23）

由於OTES施測者間信度結果不佳，故撰文說明施測者間信度之研究設計、結果解釋與對EFA之影響。
關於部分題目之施測者先信度結果不佳，讓我相當困惑。

例如：第15題（準時出席治療活動，且不會無故缺席）。
有沒有準時在預定時間的5分鐘內出席，應是相當客觀的判斷依據。
但此題的weighted Kappa只有0.26。
我認為可能有因素造成評分困難或者有因素造成我們低估一致性。

詳細的內容說明與討論如下。

Inter-rater 之研究設計

訪員確認個案符合收案條件且願意參與本研究後，即於同一天告知個案之治療師與實習生。治療師與實習生將觀察個案未來一週之OT參與度填寫OTES。

參與本研究之職能治療師與實習生皆接受研究者之OTES評分概念說明1小時，並且實際評估2位個案作為練習，以確保職能治療師與實習生於填寫OTES所遭遇之困難為何，並統一遭遇這些困難時應如何評分。
→補充收案之實際情形：若個案為門診個案，參與度與活動內容皆已穩定，治療師有時會於一週內完成評分。

Inter-rater reliability結果之解釋 （施測者間一致性的數據附於文末）

數據結果不佳（% agreement < 0.8, Weighted Kappa <0 .6="" span="">）。
inter-rater reliability不佳的原因可分為5方面：

1.        數據：

(1)          crosstabs中，9題有一整行或列的空格（第6,7,9,10,11,12,13,15,16題）：整行空格表示部分題目的最高分與最低分的選項少有人填寫。第5-7題，治療師或實習生很少填寫「從不」/「總是」。第1,3,4,10-16題，治療師與實習生皆很少填寫「從不」。整行的空格可能造成weighed Kappa 數值被低估。

(2)          部分題目偏態較明顯，可能放大空格的影響：第12-16題明顯負偏 ( < -1)，可能低估kappa值 (如第14題的% agreement=0.58, weighted Kappa=0.26)。

2.        治療師

(1)          治療師與實習生的觀察時間不一致：治療師未全程跟在個案旁邊看個案作治療，可能只依照個案於其中一個活動/一次治療的表現評分（但實習生是觀察個案整週整堂課的表現），或依據個案過去治療的情形評分，可能造成評分之歧異。

(2)          治療師與實習生接觸個案的方式不一致：實習生為親自帶個案作活動，治療師為旁觀者，造成治療師不一定清楚實習生到底提供個案的指導語為何，因此難以判斷個案執行的正確性以及是否配合，可能造成評分差異。

3.        實習生

(1)          治療經驗不足，未能提供適當的指導語/示範、回饋與回家練習項目，因而難以觀察個案在某幾個項目的表現。故治療師與實習生可能依據各自與個案平時互動的經驗推論個案在這幾題的表現，造成評分之歧異。（題6、8、11、16）(2)         

4.        個案之失語症與認知問題，造成治療師與實習生不易判斷分數。例如：個案在換新活動時需不同次數的說明、示範，可能造成評分者之判斷困難與差異。

5.        題目：

(1)          部分題目所描述之行為未出現在所有個案身上或每次活動中，造成評分之差異：例如：主動討論（第2題）、態度正向（第4題）、主動提問（第5題）、易受鼓勵（第6題）、嘗試新穎的活動（第9題）、接受挑戰（第10題）。
(2)          評分者似乎不易區分經常與總是：評分者有時會表示個案參與度良好，卻圈選「經常」而非「總是」。可能表示評分者對於「經常」和「總是」的判斷標準不一。

Inter-rater reliability不佳對於EFA 的影響

難以判斷那個評分者的分數可信：若評分者對於題目之理解有差異或難以判斷評分，易增加評分的誤差。評分的誤差可能造成題目間相關的誤差增加，而難以估計準確的因素模型。

表、OTES各題目之施測者間一致性

題號	項目	% agreement	Weighted Kappa
1	不須催促即可主動投入治療活動	0.41	0.33
2	主動與治療師討論個人最近的進步情形或病情變化	0.37	0.55
3	可保持專注直到一項治療活動結束	0.46	0.38
4	對治療活動抱持正面或愉快的態度	0.37	0.43
5	主動向治療師提出自己所接受的職能治療活動的疑問	0.46	0.57
6	容易受治療師的鼓勵而更加投入活動	0.33	0.08
7	仔細聆聽治療師的指示	0.40	0.23
8	正確地執行治療師設計之治療活動，而不會自行調整活動內容	0.52	0.32
9	願意嘗試新穎或不熟悉的治療活動	0.36	0.13
10	可接受對生理或心理有挑戰性的活動	0.43	0.16
11	願意接受治療師的建議以修正自己的動作或其它表現	0.48	0.32
12	配合並遵從治療師的指示	0.49	0.18
13	可於每次治療結束前完成治療師建議的活動次數或時間	0.53	0.26
14	盡力參與所有治療活動	0.58	0.26
15	準時出席治療活動，且不會無故缺席	0.58	0.26
16	執行至少一項治療師建議之居家或病房治療活動	0.41	0.20

*紅字處為超過0.5的數值。