OTES改版測試遭遇的困難

本週開始進行OTES改版後的測試。
改版前後的詳細差異請看〈OTES 各題施測者間評分差異分析〉一文。
簡而言之，改版的目的是使評分標準更為明確，因此改版後的量表計分方式與手冊內容變得更為完善。
（若有必要，我將於測試後刪除某些不適合的題目）
但是「完善」的代價就是要付出較多時間填寫問卷，而且需要更準確地降低可能造成誤差的原因。
以下是我目前測試（施測者間信度）遭遇的困難。

I.      受臨床安排影響

A.   實習生每四週換一次指導老師，易影響收案時間：為使實習生在較熟悉病人後才填寫OTES，我將其中一項收案條件訂為病人至少接受同一位治療師/實習生服務超過6次。但是實習生可能在每一回輪替的第二、三週才接到這位病人，因此在第三、四週才能填寫。在時間上就比較倉促。
→調整方式：盡量在週五去邀請病人參與研究，治療師與實習生就可以從下一週開始觀察並填寫量表。

B.   治療師可能比較沒空仔細閱讀施測手冊：我將量表交給治療師時，有簡單說明量表修改的部分並附上施測手冊以便治療師在填寫量表時查詢。但是，我無法確定治療師是否真的會閱讀施測手冊或會花多少時間閱讀。
→無法調整。只能相信治療師的專業。

C.   治療師與實習生可能在不同時段評估病人的表現：這是影響測量結果最重要的問題。有幾個常見的原因可能造成這個問題：(1)治療師休假。(2)同學請假。(3)實習生觀察未滿一週即完成填寫。(4)治療師臨時需要做副木，無法去看需要觀察的病人，就可能會延後幾天完成評估。
→無法調整，只能盡力配合臨床情形。

D.    病人突然出院：本週突然有大量病人出院（上週住院人數比之前多很多），因此很多病人未觀察完就出院了！
→解決方式：事先詢問病人最近是否有出院的規畫，避免邀請3天內會出院的住院病人。

治療參與度搜尋策略

日前幫學妹測試搜尋策略，簡單記錄於此。
目前的搜尋結果文章篇數仍有400篇左右，很相關的文章不到10%。
推測原因是參與度相關的詞彙屬於一般名詞，因此容易找到不相關的詞彙。
目前我的策略是將參與度相關的詞彙限定於摘要出現(.ab.)，希望可以減少文獻篇數又不會喪失重要文獻。

參與、動機	patient participation/
	patient compliance/
	medication adherence/
	engage*.ab.
	participation.tw. （需刪除social participation、family participation）
	motivation.tw.   （可能需排除motivation/、可試著改用.ab.把範圍再縮小）
復健、恢復	(rehab* or (occupational adj0 therapy) or (physical adj0 therapy)).tw.
對象	Stroke/ （可自行擴充）

20140325論文寫作課程記錄-OTES、C-DVT

I.       寫作技巧

        A.    段落層級

1.      字句

a.       避免冗詞：例如：to be。

b.      主要概念的詞彙宜統一：例如：適用於生理職能治療的參與度量表、適用於中風個案的職能治療參與度量表、復健參與度量表。

c.       呈現平均值時，應附上標準差。

d.      盡量以主動語句撰寫，以便讀者閱讀。（被動寫法易使主詞變得太長）

2.      結構

a.       研究目的、方法與結果應呼應：例如：目的有二個、方法應可看出如何達成此二目的、結果應呈現此二目的的結果。

3.      思考判斷

a.       凸顯評估工具優點的可行方法：

(1)   別的工具可以做的，我的也做得到。我的工具做得到的，別的工具做不到。

(2)   使個別優點區隔性明顯。

b.      自己的評估工具的缺點的呈現方式：放在研究限制的前一段，減少對讀者的衝擊。若審稿者要求再調整擺放位置。

         B.     文章層級

1.      方法：

a.       主要的重點應為使用某個方法→達成某個目的→判斷標準為何。若篇幅過少，可再增加研究假設與判斷指標的意義解釋。

b.      保留算式，而非保留概念。因為保留算式可以方便讀者對照判斷標準。

2.      結論：

a.       應提出本研究之主要成果：例如：本研究修改並發展了OTES。OTES總分施測者間信度略差，治療師與實習生於各題目之一致性偏低。雖然OTES項目屬於單向度，但解釋之變異量不高，未來宜修改OTES之項目與評分標準以提升施測者間信度與效度。
*對於自己的數據解釋之立場需清楚。

II.    其它

          A.    r值用於不同目的，判斷標準應有差異：例如：同時效度、收斂效度、預測效度之標準應有差異。若收斂效度的標準和同時效度的標準一樣，可能表示所測量的概念極為相近，就不是收斂了！預測效度的相關不可能太高，因此無須訂定無法達成的標準。

         B.     即使研究結果不佳，文章仍有價值。價值在於告訴別人這個工具不好、原因可能有那些、需要如何改進、此概念不易評估、不易評估的原因可能為何。

20140321會談記錄-OTES、OTK

I.        OTES學系研討會報告可補充的內容

A.      總分和各題一致性的結果意義

B.      EFA結果（更完整一點）

C.      未來的修改方向

D.     討論施測者間一致性不高的原因

II.      OTK

A.      請怡靜協助的內容：先擬定大方向，列出主要任務、目前的進度與困難。再看要讓她負責單一部份，或共同進行同一部分。（她表示希望可以負責單一部份）

B.      修改測驗內容、挑選題目皆屬技術性的事，重點應該是找看看有無重要參考文獻。可參考別人都怎麼做。若找不到很經典的參考文獻，也可以從中了解自己應該補足那些，或者決定是否不再搜尋新文獻。

★跟老師約時間最好使用skype！

OTK架構與測驗題數對照

OTES 各題施測者間評分差異分析 （3/19更新）

為了解OTES有那些題目需要大幅度修改，我將各題的施測者評分差異進行描述性統計的分析。
結果如下表所示。
此處的Range、Mean、SD、Skewness與Kurtosis是以施測者間評分差異進行描述性統計的分析結果。
OTES之計分方式為四點量尺 (0-1-2-3)。

Range之計算方式如下：「治療師評分減實習生評分」之差異的範圍。治療師評分減實習生評分的最大值為3（治療師評分比實習生評分高3分），最小值為-3（治療師評分比實習生評分低3分），因此Range介於 ± 3之間。

黃底標示表示該數值超過標準，紅底標示表示該數值為最不符合標準，藍字粗體表示該題至少有一個項目不符合標準。
第5題有4個指標不符合標準，亟需修改。
第3、6、8、12題雖然僅有1個指標不符合標準，但平均和標準差較大可能表示評分者對此題的理解或計分標準有差異，影響施測者間信度。故亦需修改之。

OTES施測手冊之修改內容：主要詞彙的定義、判斷標準、例子

本週參考了大家的修改建議，修改了OTES的評分標準與原有項目的措辭以提升量表的可讀性與施測者間一致性。
修改量表後，我一併修改了OTES的施測手冊。

施測手冊主要修改了評分標準的說明，新增了主要詞彙的定義的範例、判斷標準後的範例。
評分標準的部分，我以明確的次數或比例取代總是、經常、偶而和從不的區分方式。
主要詞彙的定義與判斷標準後的範例的部分，我以更多臨床常見的狀況舉例，以便評分者類化到平常的臨床環境，從而減少評分歧異。
我認為修改之後，評分者應該更能掌握題目要問的概念，也比較容易評分。

目前施測手冊還在修訂中，若下週實習生測試完量表，認為題目的概念不易掌握或評分有爭議，
我會繼續修改量表與手冊的說明，以期有更好的施測者間一致性。
以下是修改前後對照的幾個範例。藍字處為修改或新增的部分。
歡迎大家對於修改的內容提出建議。

20140312會談記錄-OTK進展與後續研究規劃

I.        研究的範疇：若內容只涵蓋與中風相關的OT相關知識，需將研究題目定得更明確。例如改為：中風相關OTK，而非單稱OTK。

II.      待補

A.      數據：每個面向之下的次面向數、次面向下的細項數、細項下的題目數。

B.      各題衛教前後的OTK測驗通過率比較。

C.      實際衛教的執行流程：

1.      需含固定的程序與前後測時間間隔。

2.      讓個案/家屬選擇有興趣瞭解的OT服務機構時，需補充各機構之概念簡介，並附上例子說明。

D.     修改現有之衛教投影片

1.      需增加例子以符合個案之生活背景：例如：不同年齡層、性別、教育程度。

2.      考慮圖片的閱讀方向改為從左而右，讀者可能較易閱讀。

E.      修改測驗內容：

1.      增加題目（同一概念，但不同對象）以建立複本，以免天花板效應。

2.      挑選有代表性的題目以作為成效指標。

III.    待測試

A.      完成必選的衛教與測驗所需之時間。

B.      開放式提問的OTK測驗：可找本系大一、大二學生或其它系大學生、國中生、高中生測試。

OTK測驗可能可以驗證的心理計量特性

以下是OTK測驗可能可以驗證的心理計量特性。
淺藍字處是我覺得實行上有困難的部分。

I.        信度

A.      內部一致性：得先確認哪些項目屬於為同一面向。

B.      複本信度：題目難度難以確認，不一定有複本。

II.      效度

A.      表面效度：確認題目具良好可讀性

B.      專家效度：確認題目與教材概念一致、題目與答案適當

C.      建構效度：同一機構的題目算同一個面向？

D.     預測效度：治療參與度

III.    反應性：得先有副本、確認建構效度。

20140304論文寫作課程記錄-cluster analysis、凸顯重點的方法

I.       寫作技巧

        A.    段落層級

1.      字句

a.       標題的用字應精簡明確：例如：Different severity levels of autism accompany with different severity levels of emotional and behavioral problems → The relationships between severity of autism and emotional and behavioral problems in children
（只是目前的寫法會讓讀者難以確定是A與BC的關係，或是A、B、C三者間的關係）

b.      數字呈現至小數點第一位即可：小數點後的數字表示精準度，若精準度沒有到小數點第二位，則寫到小數點第一位即可，以便閱讀。

c.       避免撰寫可有可無的句子：例如：某工具被使用了幾次。

d.      避免過於絕對的用詞：例如The SCWT is the most widely used measurement→ The SCWT is one of the most widely used measurement.

2.      結構

a.       結果的呈現應與方法相呼應：例如：使用群集分析 (cluster analysis)將樣本分群，結果可用群集作為分段的方式。因為列入群集分析的變項間的關係未必為線性，若以變項作分段的方式，就不容易看出每一個群集的特點。

b.      主題句與支持句應連貫：
例如：主題句-選擇性注意力對中風病人而言是重要的注意力。
      支持句-（說明為什麼重要）