OTK與OTES收案進度

春節假期

1/28（三）～2/9（日），2/14（五）。共14天。

2014/1/23會談記錄-OTES、OTK（1/27更新）

I.        OTES

A.      建構效度之驗證方法選擇：RTES作者回信建議使用EFA，因OTES題目已與RTES不同。
→我的想法：原本規劃為CFA，因為OTES是改編自RTES。然而我同意以EFA重新探索OTES之因素結構，因為有10題是新增或修改過的題目（OTES共16題）。→老師的想法：請回到OTES設計的參考依據，重新考慮之。

B.      施測者信度不佳

1.      目前的資料分析考慮刪除極端值：頭尾零星的人影響可能很大（差異>15分），且分數差異>16已達量表題數了。
→老師的想法：刪除人數不多，意義有限。或可試試看。*補充：刪除8人（1人患精神分裂症、1人聽不太懂中文、2人失智症、4人分數差異達16分以上）後，ICC=0.64。

提升OTES施測者間信度之規劃

背景：目前之OTES之各題施測者間信度不佳。若評分者對於題目與評分標準之理解有差異，易增加評分的誤差。評分的誤差可能造成題目間相關的誤差增加，而難以估計準確的因素模型。

目的：設法提升OTES之施測者間信度並重新驗證之。

方法：共分為二步驟。
步驟一、以三種方式提升施測者間信度：
  一、提供施測手冊，具體說明每題之評分標準。
  二、於量表上，每題皆註明簡短明確之評分標準。
  三、增加評分者之訓練：研究者先拍攝三段影片，模擬不同參與度之中風個案接受治療之情形。評分者於正式評估前需依據三段影片內容分別填寫OTES。評分者之評估結果需完全符合研究者之預期方可進行正式評分。
步驟二、重新收案以確認個題之施測者間信度是否提升。
擬邀請實習生與治療師作為評分者，共評估50位中風個案以確認施測者間信度是否提升。

The scope of symposium （FIFE+職能治療參與度）

今天與怡靜討論後，我們一起撰寫了研討會的議程與摘要大綱，
並將FIFE、健康識能、SK/OTK、OTES盡可能結合。
下圖是我們討論後建立的架構，整場研討會的大綱是以這張圖的架構為主。

研討會的議程與摘要大綱詳見怡靜的部落格
http://yiching-huang.blogspot.tw/2014/01/symposium_5747.html。

OTES施測者間信度與EFA之研究設計/結果說明 （更新1/23）

由於OTES施測者間信度結果不佳，故撰文說明施測者間信度之研究設計、結果解釋與對EFA之影響。
關於部分題目之施測者先信度結果不佳，讓我相當困惑。

例如：第15題（準時出席治療活動，且不會無故缺席）。
有沒有準時在預定時間的5分鐘內出席，應是相當客觀的判斷依據。
但此題的weighted Kappa只有0.26。
我認為可能有因素造成評分困難或者有因素造成我們低估一致性。

詳細的內容說明與討論如下。

Inter-rater 之研究設計

訪員確認個案符合收案條件且願意參與本研究後，即於同一天告知個案之治療師與實習生。治療師與實習生將觀察個案未來一週之OT參與度填寫OTES。

參與本研究之職能治療師與實習生皆接受研究者之OTES評分概念說明1小時，並且實際評估2位個案作為練習，以確保職能治療師與實習生於填寫OTES所遭遇之困難為何，並統一遭遇這些困難時應如何評分。
→補充收案之實際情形：若個案為門診個案，參與度與活動內容皆已穩定，治療師有時會於一週內完成評分。

Inter-rater reliability結果之解釋 （施測者間一致性的數據附於文末）

數據結果不佳（% agreement < 0.8, Weighted Kappa <0 .6="" span="">）。
inter-rater reliability不佳的原因可分為5方面：

1.        數據：

(1)          crosstabs中，9題有一整行或列的空格（第6,7,9,10,11,12,13,15,16題）：整行空格表示部分題目的最高分與最低分的選項少有人填寫。第5-7題，治療師或實習生很少填寫「從不」/「總是」。第1,3,4,10-16題，治療師與實習生皆很少填寫「從不」。整行的空格可能造成weighed Kappa 數值被低估。

(2)          部分題目偏態較明顯，可能放大空格的影響：第12-16題明顯負偏 ( < -1)，可能低估kappa值 (如第14題的% agreement=0.58, weighted Kappa=0.26)。

2.        治療師

(1)          治療師與實習生的觀察時間不一致：治療師未全程跟在個案旁邊看個案作治療，可能只依照個案於其中一個活動/一次治療的表現評分（但實習生是觀察個案整週整堂課的表現），或依據個案過去治療的情形評分，可能造成評分之歧異。

(2)          治療師與實習生接觸個案的方式不一致：實習生為親自帶個案作活動，治療師為旁觀者，造成治療師不一定清楚實習生到底提供個案的指導語為何，因此難以判斷個案執行的正確性以及是否配合，可能造成評分差異。

3.        實習生

(1)          治療經驗不足，未能提供適當的指導語/示範、回饋與回家練習項目，因而難以觀察個案在某幾個項目的表現。故治療師與實習生可能依據各自與個案平時互動的經驗推論個案在這幾題的表現，造成評分之歧異。（題6、8、11、16）(2)         

4.        個案之失語症與認知問題，造成治療師與實習生不易判斷分數。例如：個案在換新活動時需不同次數的說明、示範，可能造成評分者之判斷困難與差異。

5.        題目：

(1)          部分題目所描述之行為未出現在所有個案身上或每次活動中，造成評分之差異：例如：主動討論（第2題）、態度正向（第4題）、主動提問（第5題）、易受鼓勵（第6題）、嘗試新穎的活動（第9題）、接受挑戰（第10題）。
(2)          評分者似乎不易區分經常與總是：評分者有時會表示個案參與度良好，卻圈選「經常」而非「總是」。可能表示評分者對於「經常」和「總是」的判斷標準不一。

OTES初步分析結果（1/20更新，平行分析）

基本資料 
表一、所有受試者之基本資料(N=200)

性別	男/女	141/59
年齡（歲）	平均±標準差	63.0 ± 14.7
中風後時間（月）	平均±標準差	8.2 ± 13.4
中風次數	1次/2次/3次以上	164/25/11
中風類型	出血/栓塞/皆有/未知	87/106/4/3
就診狀況	住院/出院	114/86
失語症-表達	無/輕微/中度/嚴重	136/18/26/17
失語症-理解	無/輕微/中度/嚴重	154/19/15/9

描述統計

平均得分 ± 標準差    34.5 ± 9.7
最高分人數（百分比）13(6.5%)
最低分人數（百分比）  0( 0 %)

信度：

Cronbach'sα= 0.94

施測者間信度 ICC=0.53
表二、OTES項目與施測者間一致性指標 (N=83)

題號	項目	% agreement	Weighted Kappa
1	不須催促即可主動投入治療活動	0.41	0.33
2	主動與治療師討論個人最近的進步情形或病情變化	0.37	0.55
3	可保持專注直到一項治療活動結束	0.46	0.38
4	對治療活動抱持正面或愉快的態度	0.37	0.43
5	主動向治療師提出自己所接受的職能治療活動的疑問	0.46	0.57
6	容易受治療師的鼓勵而更加投入活動	0.33	0.08
7	仔細聆聽治療師的指示	0.40	0.23
8	正確地執行治療師設計之治療活動，而不會自行調整活動內容	0.52	0.32
9	願意嘗試新穎或不熟悉的治療活動	0.36	0.13
10	可接受對生理或心理有挑戰性的活動	0.43	0.16
11	願意接受治療師的建議以修正自己的動作或其它表現	0.48	0.32
12	配合並遵從治療師的指示	0.49	0.18
13	可於每次治療結束前完成治療師建議的活動次數或時間	0.53	0.26
14	盡力參與所有治療活動	0.58	0.26
15	準時出席治療活動，且不會無故缺席	0.58	0.26
16	執行至少一項治療師建議之居家或病房治療活動	0.41	0.20

測試OTK教材的情況記錄

以下為最近一個月測試OTK教材的情況記錄。

總括個案與家屬的反應，可分為態度與教材二部分。

態度

1.認為已知的或一知半解的資訊不重要：當受測者看到熟悉的治療器材或治療方式，就容易認為他們已經知道這些事了！但是請他們不看教材就解釋或舉例，他們不一定講得出來或講得正確。

2.全心信任醫療人員，未獲得OTK也沒關係：教育程度在高中以下的家屬與個案傾向於信任醫療人，認為醫師/治療師沒有說就是還用不到或是不重要。然而他們有疑問的內容，醫療人員未必會主動告知。例如：職能和物理有甚麼不同？出院之後要怎麼安排復健？居家環境要怎麼調整比較適合？輪椅和拐杖是不是應該盡快去買？

3.很少提供投影片修改建議：可能原因有三：1)已進行二回合認知訪談，因此教材的可讀性已經不錯了！2)圖片較多，很容易就看完。3)不習慣看電腦介面，一下子不知道問題出在哪裡。(僅有少數習慣使用投影片的家屬與個案曾提供具體的投影片修改建議。)

4.個別差異很大：有受測者非常喜歡OTK教材，會想拍照、要紙本或是千恩萬謝地想請我吃飯（這是寫實，不是誇飾）。有受測者覺得內容都是已經知道的，或是用不到的，所以沒有興趣。但是這些受測者本身或家人的中風後嚴重程度、年齡並不一致，受測者本身的教育程度也不一致，因此難以判斷為何受測者對於OTK的態度差異如此之大。

教材

1.想知道更個別化的教材內容：尤其是治療器材和治療方式。受測者容易覺得與病情無關的內容就不重要，閱讀時較無耐心。雖然教材內如已盡量符合大眾的需求，但對於症狀較輕微的病人而言似乎幫助有限。

2.目標/理論太空泛：治療目標對個案而言似乎過於空泛。例如可以盡可能獨立、提升生活品質，對病人而言不切實際。但若如果把目標改為手可以舉高、腳可以走路，他們就容易認同。

修改論文的一點心得（1/16更新）

這幾天我參考了老師的建議修改SK論文方法的部分。
老師的修改建議非常中肯，讓我甚至都不能理解自己之前到底是在想什麼，怎麼會寫出這麼不清不楚的方法。
但是，我明明記得一個月之前寫完，覺得還算清楚明瞭，也請Lynn修改過了！

我認為可能是文章放了一段時間再看，比較不會受到原本思考的方式、文章的佈局影響，
比較能夠客觀地看待成品。

雖然快速往返似乎可以在短時間內做很多事，
但是說不定收到老師的修改建議之後放2-3天再改，會更有效率！

補充：自己寫作的問題

1.重點不明確：雖然把自己所想到的所有內容盡可能寫在文章中，但讀者難以一目了然。

2.習慣以敘事的方式撰寫科學性文章：撰寫方法時，習慣以研究進行的順序撰寫文章，未使步驟明確易懂。

3.用自己想到的方式布局/未找到最好的參考範本：未能使用讀者習慣的方式布局，讀者難以找到他想看的內容。

Symposium之主題與邀請專家規畫 -1/7更新

主題：職能治療參與度量表之發展與後續應用

專家：薛漪平、陳怡妙/江熠嫻、呂文賢

大綱

I.       研究主題介紹（重要性、目前瓶頸）

         A.     治療參與度之概念介紹：個案之治療活動完成度、努力程度與對治療活動有興趣的程度。

         B.     職能治療參與度之重要性

1.     主要：有助於個案之恢復

2.     次要：可做為達成醫病治療共識之指標

         C.     目前瓶頸：

1.     職能治療參與度之定義尚不明確

2.     尚無完整之職能治療參與度之評估工具

        D.     突破瓶頸之可能研究方向

1.     參考現有之治療參與度之定義，發展適用於職能治療的治療參與度定義

2.     修改現有之治療參與度量表，使之適用於職能治療領域

3.     發展職能治療參與度量表

II.     目前進展與成果：修改現有之治療參與度量表(RTES)為OTES

        A.     已完成量表正反翻譯、專家審查與測試

        B.     已完成其信效度驗證（暫訂）

1.     收案200人

2.     具備量好的內部一致性、施測者間信度、建構效度與預測效度（效標：ADL CAT）

III.    後續研究 and/or 應用

        A.     影響職能治療參與度之原因探討

        B.     提升職能治療參與度之方法探討

        C.     職能治療參與度作為動作、健康相關生活品質等預後的預測因子之追蹤研究
  

IV.   所遭遇之困難與目前所想到的解決之道

        A.     OTES題目較少

1.     可能難以刪除信效度不佳的題目

2.     涵蓋之內容不夠完整

→持續測試與修改

        B.     不同OT領域之參與度內容不一，難以直接推廣使用
     →只要OT參與度的定義適切，題目皆可因地制宜

        C.     個案之參與度受認知功能與生理狀況影響甚大，有時難以區辨
       →未來可進行認知功能、生理狀況與參與度之相關性研究以釐清

        D.     個案不會出現參與度量表所列之所有行為
         →或可考慮將參與度量表改為「積分制」。例如：十項符合七項即可。

        E.     不同時期的個案之參與行為不同
         →未來或可考慮依個案之發病後時間挑選適合的參與度評估項目