我對OTK教材與測驗的驗證方式看法如下：
1. 需調整OTK架構以便驗證：
(1)目前的OTK測驗題目與面向的關係為組成性模式，不適合驗證信度與建構效度：
可行的作法一：重新調整題目內容，使最下層面向與題目間關係為反映型結構。
可行的作法二：維持原狀，以主成份分析確認同一面向所包含的題目是否只能抽出一個主成份。
(2)目前的OTK結構過於複雜，應合併部分內容以降低驗證的困難。例如：將目前的OTK最下層內容濃縮為目的（以下包含對象、預期成效）、方法（以下包含器材、介入方式與內容、OT的功能與角色、服務流程、各階段的轉銜、相關法規）與核心價值並列為最上層（圖），而每一個服務機構都會有一組OTK。例如生理OT的OTK。
2. 複本測驗的設計造成OTK測驗的分析困難（前提為OTK之最下層為反映型模式）：若三個複本的題目一起因素分析，可能造成同一概念的複本題目聚集，而非同一面向的聚集。若將三個複本的題目分別分析，可能造成題目過少而信度不佳。
3.重新思考OTK教材/測驗之目標再規畫測驗藍圖：教育的目標包含認知領域（對於不同知識的瞭解、各個知識學習歷程應具備的能力）、動作技能領域與情意領域（對於所學內容的態度）的目標。在OTK衛教中，應強調認知領域與情意領域，以符合衛教之目標：改變病人的行為。定好目標之後，再決定各部分教材與測驗之內容比例。
looks great!
回覆刪除我有些意見，請卓參。
1.「教材設計（衛教）」與「建構測驗（以及驗證）」之目的不一。因此OTK之架構可能因為您的目的不同而異。也就是說，您目前擬調整OTK架構，似乎只重視「建構測驗（以及驗證）」而忽略衛教的初衷。尤其之前建構OTK時，專家的見解係以「衛教（如何讓個案瞭解OT）」為主要考量目的。
如果「教材設計」與「建構測驗」之「最佳」OTK 結構無法一致，應毋須勉強，也無法勉強。
只是，若二者無法一致，如何連結「適性測驗」與「適性衛教」，將是未來待克服的議題。
2. 關鍵的心理計量特性，除了信度及建構效度，還有反應性。否則難以呈現衛教成效。
3.複本測驗之驗證偏向於「技術問題」，毋須擔心。比起前面的「核心問題」與「觀念問題」，複本測驗之驗證是小議題。
4.我們之前對於OTK衛教的目的著重於「知識傳遞」，雖較為狹義，但比較可行。對於是否擴及至較廣義的目的，我想「此時不宜」。因為我們的經驗/能力有限，只能一步一步來。現階段沒辦法做到的，可變成您下一階段（博士之後）的研究重點。
5. 有關1（1）「重新調整題目內容，使最下層面向與題目間關係為反映型結構。」，我想關鍵在於「最下層面向」是否為 reflective 概念，若否，您難以找到合適的項目。也就是說，您須先確認「最下層面向」是否符合reflective 概念。
我有個疑問：為什麼組成性模式不適合驗證信度與建構效度？應該還是可以驗證信度，建構效度也有其合適的驗證方式。加油!
回覆刪除謝謝學姐的提問。
刪除因為組成性模式的題目間相關低，而驗證內部一致性信度與建構效度（此處僅限因素分析）都需要計算題目間相關，
且IRT較接近反應性模式（題目來自同一面向），
因此內部一致性信度與建構效度結果不佳。
又，組成性模式目前常用的結構驗證方式為主成份分析法，
但主成份分析法屬於探索性的分析，不是驗證型的分析。
因此組成性模式的題目在驗證心理計量特性上有些限制喔！