2013年8月31日 星期六

20130831欲與老師討論的主題-OTK、OTES(更新)

V為我認為比較適合的選項。
黃底標示為欲徵詢老師意見的事。
I.       OTK
         A.     OTK最可能的結構為何?
1.     最下層面向(一份教材所包含的測驗)為reflective model           V
a.     優點:可驗證最下層面向的單一面向性、驗證測驗反應性
b.     可能遭遇的困難:部分教材不只一個段落,各段落間未必是單一面向。
2.     最小單位為reflective model
a.     優點:可驗證最小單位的單一面向性、反應性
b.     可能遭遇的困難:有太多最小單位的分數,造成計分困難
3.     最下層面向部分為reflective model、部分為formative model
a.     優點:可使計分精確(reflective model用總分、formative modelindex
b.     可能遭遇的困難:計分過於複雜,且難以得到整體OTK程度的概念、不易驗證心理計量特性。
         B.     較適合提升OTK反應性的方法為何?
1.     增加量尺或題目:需確定量尺或項目確能呼應個案之能力,而且未與其它項目或量尺重複。
2.     以題目重要性加權
3.     IRT score計分(則OTK之最下層面向必須為reflective model、單面向)
4.     加強介入成效(但我不是在驗證療效,而是在驗證測驗……
5.     大量出題並挑選好題目:需有充足的題目與個案量方能進行。              V
         C.     驗證OTK反應性可能遭遇的困難
1.     使用複本或同一份測驗驗證反應性?
→複本品質不佳可能使分數難以直接比較,用同一份測驗則分數可能受前次測驗的記憶影響。
2.     OTK分數為指標分數呈現,反應性可能不佳。
3.     應如何選擇適合的再測時間?   
→時間太長則受測者忘記教材內容,太短則測驗分數受到前次測驗的影響過大。
*其它疑問:驗證反應性就一定要介入,是否代表要進行研究三?
II.     OTES
          A.     翻譯與測試:已完成反翻與作者確認。由於原作者只建議刪除一題,並未建議修改其它內容,因此考慮跳過實地測試的階段
         B.     心理計量特性驗證:預計自下週開始進行。
         C.     IRB
1.     已與雙和治療師聯繫,對方已同意擔任主持人並協助收案。
2.     此份IRB考慮只收建構效度的個案(無須重複施測),以減少治療師的負擔。

III.   
SK
A.     進度:篩選文章中。(共有318篇納入初步篩選)

2013年8月30日 星期五

我對於提升OTK測驗的反應性的一些看法

我認為反應性的概念為測量工具可以反應出受測者能力變化的程度。
反應性的公式如下(此處以SRM為例):
SRM=
平均Dx/SDDX
 
平均Dx:前後測差異的平均值
  SDDX
:前後測差異的標準差
如果要提高測驗的反應性,應可從提升平均Dx和減少前後測差異的標準差著手。
目前我沒有想到或找到減少前後測差異的標準差的方式,但有想到其它可能可以改善反應性的文章,
因此僅就提升平均Dx的可能方法與其它可提升反應性的方法作說明。

I.        提升平均Dx的可能方法
        A.      增加重要的題目:增加重要的題目可使測驗更精準地區分不同能力的個案,而當個案能力改變時,也能更精準地呈現。1
        B.      增加量尺數:增加量尺數可更細緻地區分不同能力的個案,而當個案能力改變時,也能更精確地呈現。1
可能遭遇的困難:OTK測驗為是非題,除非改成複選題,否則難以增加量尺數。然而,若將OTK改成複選題可能使題目過於複雜或困難。
     
 C.     
以題目的重要性加權各題得分:越重要的題目加權越多。2例如:將重要性分為1-5分(非常不重要-非常重要)。
計算反應性時,非常重要的題目的得分乘以5,非常不重要的題目得分乘以1
可能的困難:應以治療師對於重要性的判斷為主或以個案對於重要性的判斷為主?
     
D.    
IRT score計分:例如:以題目的難度與鑑別度相乘作為IRT score計分。3
可能遭遇的困難:若OTKformative model,則題目難以符合IRT model,而無法在同一個量尺上排序。
     
E.     
凸顯介入的成效:
1.      提升OTK教材品質:教材容易理解、吸收的程度會影響OTK測驗之分數改變情形。若教材品質不佳,介入的效果不明顯,則難以呈現反應性。
2.      縮短再測時間:若再測時間過長,受測者可能會遺忘教材內容而無法呈現反應性。
*
我的疑問:計算反應性要用同一份測驗或複本?
可能遭遇的困難:再測時間過短,測驗分數可能受前一次作答結果影響為主,而非衛教介入的成效。

2013年8月29日 星期四

OTK的可能結構

我認為OTK的結構可能是多數為formative model,僅有「最小單位」的內容為reflective model
因為受測者應該是先有某個知識,才能答對某個知識的測驗。
最小單位的意思是指教材的一個段落。
例如:標題為「職能治療是什麼意思」的短文中,共包含3個段落:職能的定義、職能治療利用人們的日常活動幫助人們恢復功能、職能治療師會依據每個人的職能提供不同治療(含舉例)。
職能的定義可包含3個題目:
1.     請問「職能治療」當中的「職能」是什麼意思?
2.     請問您覺得「職能治療」是什麼意思?
3.     請問您覺得下列那一項說明最接近「職能治療」的意思?

職能治療如何幫助人們恢復功能可包含3個題目:
1.     請問職能治療師主要是用什麼方式幫助人們改善功能?
2.     請問職能治療師最可能用下列那一種方式幫助人們改善功能?
3.     請問下列那一項是職能治療師最可能提供的治療方式?

職能治療師會依據每個人的職能提供不同治療可包含至少3個題目。
1.     當您在職能治療室看到其他中風病人正在練習您沒有看過的治療,請問您或您的家人是不是也要做一樣的治療呢?
2.     請問您認為職能治療師最可能提供一位退休的中風病人那一種治療活動?
3.     請問您認為職能治療師最可能提供一位35歲的家庭主婦那一種治療活動?
4.     請問您認為職能治療師最可能提供一位50歲的工廠作業員那一種治療活動?
5.     請問您認為職能治療師最可能提供一位XXX那一種治療活動?


但是,如果將3個段落的題目的分數加總,應可組合成「職能治療是什麼意思」的知識。
以上是我的想法,歡迎大家再提供一些意見囉!

2013年8月25日 星期日

我所知道的名詞:Reflective model與formative model、反應性、複本測驗

以下是我所知道的下列名詞的概念。
I.       Reflective modelformative model
         A.     總說:這兩個概念是用於描述題目與因素關係的模型。
         B.     定義:
1.     Reflective model:每一個題目皆反映因素的潛在特質的模型,潛在特質的高低會影響題目的得分。例如:憂鬱量表的每個題目都是測量憂鬱所造成的行為與感受,而憂鬱的程度會影響每題作答的結果。
2.     Formative model:所有題目共同組成完整的因素,因素是題目造成的結果。例如:壓力事件量表的每個題目都是可能造成壓力的事件,每個壓力事件之間可能關連性不高,但壓力事件越多,表示壓力越大。
         C.     Reflective modelformative model的差異

Reflective model
Formative model
概念上
因素為因,題目為果
題目為因,因素為果
題目間的概念有關連
題目間看起來沒有關連(但可以歸納),無法互相取代
數值上
題目間相關程度大於0.3
題目間相關程度低

II.     反應性:代表量表在受測者程度有改變的情況下,能夠呈現「改變」的程度。
III.    複本測驗:所測量的概念相同、題目不同、難度相近、題數相同、測驗分數等價的測驗。



2013年8月24日 星期六

OTK 衛教與測驗之發展議題/難題(8/25更新)


I.       結構/驗證
A.     「教材設計(衛教)」與「建構測驗(以及驗證)」之結構決定
*我的想法:目前教材與測驗屬於組成性模式。我認為可簡化OTK測驗架構以便將測驗架構改為反映型模式,而此模式應該也用於OTK衛教。
可能的困難:測驗題目為組成型模式,無法改成反映型模式。

II.     教材
A.     紙本教材與多媒體教材之選擇/比例
*
我的想法:多媒體教材為主,紙本教材為輔,以便個案與家屬在看多媒體教材時可以做筆記。
B.     教材之應用(解說)方式可能因人而異而影響測驗結果
*
我的想法:需設計教材教法的SOP,以便不同人提供之教學成果相似。
C.     未配對測驗目的與教學目標:
*我的想法:需重新規畫測驗藍圖(測驗藍圖是指測驗目的與教學目標的配對規畫)以配對測驗目的與教學目標,並出各個測驗目的所包含的測驗題數。測驗藍圖如下表所示。表中的數字表示符合某一概念與教學目標的題數。

                                  表、測驗藍圖之範例



可能之問題/困難:同一測驗目的所包含的題目未必涵蓋表中的四種知識。
補充:
事實知識:對於特定詞彙的事實說明。概念接近於名詞解釋。
概念知識:對於特定概念的分類、原則的瞭解。概念近於簡答題。
程序性的知識:處理特定事物時所使用的判斷準則、方法學(程序)知識。例如:接受OT的程序為何?
後設認知知識:知道面對特定情境時,有那些知識、策略可以應用。例如:覺得自己ADL有困難,要向誰提出問題。


III.    測驗
A.     如何提升測驗的反應性?
*
我的想法:增加題目難易程度、增加個案之程度差異之差異或可提升測驗的反應性。
B.     到底OTK「最下層面向」是否為 reflective 概念?
*我的想法:我認為教材的知識內容屬於組成型,但測驗題目可以透過寫題技巧使測驗成為反映型。例如:請問患有下列那一項疾病的人可以透過職能治療而改善功能?請問職能治療可以協助人們改善下列那一項問題?
C.     如何確保題目為複本?
*
我的想法:在實際測試前,不易確認題目是否為複本。
D.     驗證結果不佳,應如何處理?
*我的想法:先少量測試題目並刪除不適當的題目再進行正式驗證。


2013年8月23日 星期五

SK health literacy 的重要參考文獻

以下為與怡靜分別找尋model paper之後討論的結果。

論文寫作的參考文獻:
1.Jordan, J. E., Osborne, R. H., & Buchbinder, R. (2011). Critical appraisal of health literacy indices revealed variable underlying constructs, narrow content and psychometric weaknesses. Journal of Clinical Epidemiology, 64, 366-379.
→可參考它整理工具介紹的表格與比較不同衛教測驗的撰寫方法
2. Eigenmann, C. A., Colagiuri, R., Skinner, T. C., & Trevena, L. (2009). Are current psychometric tools suitable for measuring outcomes of diabetes education? Diabet Med, 26, 425-436.
→可參考文章的篩選標準與研究進行流程


評析表
Jordan, J. E., Osborne, R. H., & Buchbinder, R. (2011). Critical appraisal of health literacy indices revealed variable underlying constructs, narrow content and psychometric weaknesses. Journal of Clinical Epidemiology, 64, 366-379.
→有完整的心理計量特性驗證的評析項目,而且項目不會過於瑣碎。

另外於工具介紹增加「測驗之適用對象」(一般民眾或專業人員)。
評析表增加測驗之可取得性。

SK health literacy 搜尋策略更新

以下是我和怡靜今天下午重新測試的SK搜尋策略。
這個搜尋策略增加了衛教相關的MeSH term,
使前30篇的精準度提高至66%。

#
Searches
Results
1
((stroke or CVA or Cereb$ or post?stroke or TIA or transient ischemic attack) adj3 (educat$ or information$ or aware$ or knowledge or counsel$ or literac$ or understand$ or communicat$)).tw.
3703
2
exp stroke/
83545
3
exp Patient Education as Topic/
70634
4
exp health education/
136225
5
exp Health Knowledge, Attitudes, Practice/
72758
6
exp Health Literacy/
1486
7
exp Counseling/
33392
8
questionnaire/ or (questionnaire or test or quiz$ or scale or examination or survey).tw.
2109570
9
3 or 4 or 5 or 6 or 7
221089
10
1 and 2 and 8 and 9
215
11
limit 10 to yr="2000 -Current"
209
12
limit 11 to english language
194
13
12 not (review or comment or letter or address or editorial).pt.
188