[問題]問卷的定義、發展出一個心理計量特性不佳的問卷怎麼辦？

問題一、問卷的定義
今天在找參與度相關的文獻，突然冒出一個問題：
只有一個題目，能不能算是問卷？
或者，只能稱做指標/量表 (index/ scale)？
另外，「只有一個題目」讓人想到的第一個問題就是：測量結果一定很不精準。
但是不精準不代表沒有人用或是不實用，至少Brunnstrom Stage到現在還是很多人使用。
因為它可以被快速施測，結果也可以用於快速與其它專業溝通。
只是好像沒有人說 Brunnstrom 問卷。
＊相關參考文獻已補充於下一篇文章中。

問題二、發展出一個心理計量特性不佳的問卷怎麼辦？

今天初步分析了FIFE問卷，發現所有面向的內部一致性  (  α  <  0 .60  )  、
部分項目的施測者間信度  (  Kappa  <  0.2   )  、
憂鬱情緒的收斂效度   (   r  =  0.21  ,   P  =  0.25   )不佳。
此外，由於部分題目有些選項都沒有人選，因此無法分析Kappa。
而且Idea和Feeling二個面向的部分題目彼此間為負相關（例如診斷與對預後的瞭解、沒有自信與疲倦），結果有點難解釋。

關於施測者間信度的部分，個人覺得採ICC的結果為佳。因為可以算得出來，而且結果還不錯  (   0.6   <   ICC   <   0.7   )
至於FIFE問卷目前的心理計量特性不佳要怎麼辦？
我目前能想到的就只有：繼續測試繼續修改。
不知道大家覺得呢？

[問題]以多位施測者評估結果計算施測者間信度（已補上我的明確問題）

今天在看暑期研究彙整的文章，發現這篇文章的施測者間信度的研究設計很特殊。
施測者有8人，包括3位職能治療師（評量個案參與OT的情形）與5位物理治療師（評量個案參與PT的情形）。
因此結果可得到2個ICC數值：
一個是3位職能治療師「C3取2」兩兩評估的一致性，
另一個是5位職能治療師「C5取2」兩兩評估的一致性。

我一開始覺得用這麼多施測者評施測者間信度很奇怪，
但是後來想想：如果ICC選擇2-way random，就表示施測者是從「施測者庫」隨機挑選出來的，
所以用多位施測者應該也沒關係。

但是，仔細想想，還是有些地方不懂。
我的問題有3個：
1. 如果有3位評分者，就讓所有個案都被這3位評分者評估一次，再計算3位評分者的施測者間信度，結果會不會比較準確或可信？
2. 施測者間評分結果的差異很大，會不會影響ICC的準確性？或只是反映在ICC數值變小而已？
3.計算ICC時，每個施測者被分配到的個案數需要很接近嗎？例如：有人評100人，有人評50人，也可以計算ICC嗎？
麻煩大家提供一些意見喔，謝謝。

以下為論文中說明施測者間信度的資料分析內容：
Interrater reliability was tested by having 2 therapists independently rate a given patient’s therapy session. This was done for 20 OT sessions and 25 PT sessions; a total of 3 occupational therapists and 5 physical therapists participated in this reliability testing. In all cases, each therapist in the pair was masked
to the other’s rating. Intraclass correlation coefficients (ICCs) were calculated for both OT and PT ratings.

20120811會談記錄-我的瓶頸與盲點

I.       目前的盲點（此問題一再出現）：

A做一件事情之後，其它事情都放在旁邊。

B.     發現問題的時候，傾向先檢討環境/別人，而非檢討自己。
＊問題背後的成因遠比想像中複雜。

II.     老師覺得幫不上忙的原因：同樣的問題一再出現。

A.     可能的解決方法

1.     找到鍥而不捨提醒我的人。

2.     當別人說出自己的盲點之後，積極確認自己的學習能力有多少？改進多少？

III.    當彙整OT30的文獻而拖延/排擠自己的主要任務的時候，應思考4件事：

A.     喘不過氣的時候，怎麼沒有向老師反映？

B.     為什麼連提出來確認的能力與勇氣？連提出來講一講的能耐都沒有？有問題還不會反映，都已經博班了，連提問題的勇氣和能力、溝通的能耐有限，老師又能幫上什麼忙？
→可行的作法：
1.跟老師確認完成時間？如果何時完成可不可以？
2.應該跟老師說 這樣會影響其它的任務很多喔！（因為老師不知道學生有多少能耐、能做多少事）

C.     有那麼多機會可以反應，為什麼不說？很多管道與機會怎麼不用？

D.     為什麼沒有感覺到危機並且去處理？
＊如果無法概括承受，當然要及早提出問題。
＊如果已經造成事實，又沒有收拾的能耐，當然是每況愈下了！
＊表達不足或有問題都沒有關係，重點在於知道自己的瓶頸為何、有沒有改善、進步的能力。

IV.   總結：

A.     應考量自己的瓶頸，努力調整。

B.     有困難要及早反映：在時限之前，就應該知道做不出來。不可以努力到最後一刻才說做不到。

C.     應看看自己學習上的瓶頸與困難，這些東西有沒有徹底瞭解？

D.     應好好澄清、遇到事情要好好學習。（事先防範，事後學習。）
＊在同樣的坑跌倒兩次雖然可以怪別人沒把路鋪好，但是別忘了自己的責任（自己的瓶頸、自己的學習能力要靠自己去克服）。

從買手機體驗衛教方式不佳造成的結果(8/12更新)

上週末手機突然壞掉，螢幕一片黑暗，只剩下撥接功能（而且撥不一定成功）。
在確定送修完全不划算之後，決定買新的手機。

在網路上簡單查詢符合我的購買標準的手機功能與評價，並且詢問持有相似手機的使用者心得之後，
終於在今天放學後去購買手機。
由於自己對於智慧型手機的設計並不是很瞭解，
因此問了店員很多問題，
結果卻發現店員的解釋有時候有講等於沒有講，因為有太多專有名詞與背景知識了（以下以藍字標出），而且我猜有些知識其實他們並不很瞭解！

例一、
我：請問電池要怎麼保養？是要把電用完再充比較好，或是快沒電就充電比較好？
店員：這要看您用的電池是哪一種。如果是鋰電池的話......，如果是鎳電池的話.....
我：（那我的手機用的是哪一種電池？）
→個人覺得店員只要補充說明我的手機適用哪一種使用/保養方法即可。

例二、
我：請問手機的照相畫素要多少才夠？如果要沖洗出來，一般要多少畫素呢？
店員：畫素當然是越高越好。
我：（我也知道畫素越高畫面越漂亮啊！）
→如果店員知道確切的數據，可以直告訴我一般沖洗4*6的照片的畫素。
如果他不知道，可以直接告訴我不知道。

例三、
我：請問A手機和B手機的作業系統主要有什麼不同？
店員：A手機用的是Android系統，比較開放。B手機用的是跟iPhone一樣的同步系統，比較封閉。
我：比較開放是什麼意思？比較封閉是什麼意思？這兩個系統的差別就是開放和封閉嗎？
店員：開放就是可以當隨身碟用，封閉就是要用同步系統才能傳輸資料。
→其實店員只要說明兩個系統的2-3個主要差別即可。例如：開放與封閉（是否可以用傳輸線連接電腦）、可使用的應用程式數量與功能有差等。其餘太仔細的其實我也聽不懂。

最讓我不知所措的是店員告訴我：「請隨意試用一下功能，看操作上有沒有問題？可以現在測試一下提出來。」
問題是，我才剛買手機，根本不知道它到底有那些功能，也不清楚新手機的操作方式，
要怎麼提問呢？

從不會到會

今天與暑期研究的同學討論，因為只有他沒有上過文獻導讀的課程而其他同學都有上過，
因此他有點擔心自己進度會跟不上別人。

其實，大家也都是從不會慢慢學會的，
而且有助教可以問，所以現在不用太擔心別人已經會多少了！
一個月之後自己也學會，就好了！
我想這麼告訴他，也告訴碩一的自己。

原來還有其他的暑期研究營

剛才與暑期研究的同學（以下簡稱同學A）在電腦教室討論時，
遇到其他大二的同學（以下簡稱同學B），意外得知有其他老師也有開暑期研究。
於是他們就交換了彼此參與暑期研究的情形，
而彼此都覺得對方的經驗很不可思議。
我簡單記錄如下。

同學B的疑問
1.為什麼你有一對一的助教這種福利？
2.我不知道要怎麼訂研究主題。
3.我不知道怎麼做文獻回顧。
4.為什麼你不用收案？

同學A的疑問
1.你沒有助教幫你上課，你怎麼看得懂論文？
2.你知道怎麼找文獻嗎？如果不知道，那你要怎麼找文獻？
3.如果沒有人教，你是怎麼寫出你的專題報告/研究計畫的呢？

同學B參與的暑期研究內容主要為收案和分析資料，
同學A參與的暑期研究內容比較像是體驗「做研究」的日子，並且學習基本文獻搜尋與論文撰寫能力。
個人認為可能是不同老師想強調的教學內容不同，所以暑期研究的內容安排也不同吧！

附帶一提，帶暑期研究的時候常覺得部落格的「工具集」真好用。
只要學弟妹有問題，向他們解釋之後，還可以跟他們說：「請看我的部落格的工具集裡面的搜尋策略/書目管理軟體......，裡面有更完整的介紹。」
雙方都覺得很方便。

暑期研究統計回家作業題目（8/8更新）

本次暑期研究統計課程的主要目的為協助同學解讀數據，因此我上課的內容偏重於為什麼要用這個統計方法以及統計的結果要怎麼看。

以下為本次回家作業的題目：
請找一篇與OT相關的論文 （排除質性研究與回顧型文獻）
1.請列出本研究各個變項的資料特性（名義、次序、等距、等比變項）、有那些集中/離散趨勢指標。
2.請—說明這些集中/離散趨勢指標的分數所代表的意義。例如：中風個案平均BI分數為18分，代表什麼意思？
3.請依據研究目的，寫出論文中的統計假設。
4.從研究目的來看，請問你覺得作者會用那些推論統計（只需寫上課有教過的推論統計：t-test,chi-square, ANOVA, correlation & regression即可）？為什麼？
5.請列出論文中其它的推論統計方法，並說明作者想由推論統計方法知道那些事。
6.請問你有沒有覺得作者應該作那些統計分析，但是他沒有做？或是他可能做錯了？（進階）

希望透過這次的作業練習，可以讓同學試著去看資料分析與結果，不會看到數字就跳過。

*補充：8/8詢問有寫作業的3位同學，他們表示作業題目並不難，只是在選文章的時候不知道要用什麼關鍵字搜尋。
因此如果下次要出類似的作業，應考量大二同學對搜尋策略不熟。
目前想到2個可行的作法：
(1)直接挑好文章，讓大二同學選擇自己要寫哪一篇。
(2)提供搜尋策略，讓大二同學由搜尋結果選擇自己有興趣的文章。
目前有想到的搜尋策略如下：
1.occupational therapy/ or rehabilitation/
2.(t-test or ANOVA or chi-square or correlation or  regression).tw.
3.1 and 2
4.limit 3 to "review articles"
5.3 not 4
6.stroke/ （可自行決定）

找到參與度相關文獻

今天在回答審稿者回信，有一題本來覺得很棘手，
但是轉個彎之後發現相關文獻也不是那麼少。

原本我用順從度為起點說明個案對醫療知識瞭解的重要性，但審稿者認為OT並不是單方面要求個案順從，而且目前引用的文獻與復健領域較不相關，
因此建議將順從度改為治療動機。
我覺得治療動機比較抽象，因此以參與度取代順從度。

原本的稿件如下：
個案對醫療專業的知識之理解程度對治療順從度有很大的影響 (Bhavnani, Fisher, Winfield, & Seed, 2011; De Maria, Lussier, & Bajcar, 2011) 。治療順從度 (adherence)係指個案對於醫療人員所提供之醫療服務，所表現的態度與行為之主動配合程度 (Cramer et al., 2008; Tjia et al., 2011) 。當個案瞭解醫療人員所提供之建議或治療內容，個案較願意主動配合醫療人員之建議及治療 (Fawzi et al., 2012; Miyachi et al., 2011; Piazza et al., 2012) ，且其預後較佳 (Granger & Bosworth, 2011) 。

重新撰寫的段落如下：
個案對醫療專業的知識之理解程度對治療參與度有很大的影響 (Collins et al., 2006; Lequerica, Donnell, & Tate, 2009) 。參與度 (participation)包含對治療活動的完成度、努力程度與對治療活動有興趣的程度 (E. J. Lenze et al., 2004) 。當個案瞭解醫療人員所提供之建議或治療內容，並且與治療人員達成治療共識，個案較願意主動配合醫療人員之建議及治療 (Collins et al., 2006; Danzl, Etter, Andreatta, & Kitzman, 2012) ，且其預後較佳 (Lenze et al., 2004; Talkowski, Lenze, Munin, Harrison, & Brach, 2009) 。

尋找參考文獻的困難

最近在補審稿者信件所需的參考文獻，發現要找到合適的參考文獻真的很難
尤其被當作「常識」一樣的概念。
例如：問答題比選擇題困難、OT使用同樣的治療活動不一定是同樣的治療目的。

「問答題比選擇題困難」的概念較接近教育學科，因此我以ERIC資料庫搜尋。
初次使用的關鍵字包括short answer、multiple choice、difficulty、cuing，但沒有找到合適的文章。
但是發現了類似的詞彙：test-taking skill（作答技巧，例如刪除不可能的選項、比較選項的正確程度等）。
第二次搜尋時改以 multiple choice 和 test-taking skill 搜尋，仍未找到直接相關的文獻。
第三次搜尋以 multiple choice 和 guess 搜尋，希望可以得到一些關於選擇題可以猜題的論文，但還是沒有很適合的。
我決定改以google scholar搜尋，short answer、multiple choice，立刻找到很合適的文章：
Newble, D. I., Baxter, Avril, & Elmslie, R. G. (1979). A comparison of multiple-choice tests and free-response tests in examinations of clinical competence. Medical Education, 13, 263-268.

並且還得到cuing effect（由選項內容判斷答案）的概念，可以加進討論中補充。

為了找到這篇參考文獻，花了近兩個小時。
為了得到這篇的全文，又花了半個小時。

「OT使用同樣的治療活動不一定是同樣的治療目的」目前只有Greber, C. (2011). Pluralism: Signposting a split in occupational therapy? Australian Occupational Therapy Journal, 58, 455-457.

這篇較為合適，但是沒有找到更多闡述這個道理的文章。
因此幾乎每個OT都知道的概念：「職能治療人員在治療同一診斷的個案時，可能因為使用的參考架構不同而採用不同的治療手法。即使使用相同治療手法，也會因為個案本身的程度調整活動內容、或因為個案的興趣及職能角色而調整治療媒介。」
我還是沒有找到其它文獻支持。

搜尋參考文獻真是不容易啊！

OT30 結果

以下為最近一個半月的心血......

結果     步驟一共找到296位OT人員（表一），步驟二a.找到1029篇論文，步驟二b.找到1319篇論文。研究者刪除重複以及作者無臺灣OT學（科）系在校生或畢業生的論文，符合檢索條件之論文共有992篇論文（初步結果）。經步驟三校對與補充後，共找到161篇論文未收錄於初步結果中。最終結果共有1153篇論文。其中，英文論文648篇，中文論文505篇（圖一）。

圖一、研究流程與結果