2013年8月8日 星期四

20130806會談記錄-知識型測驗應驗證的心理計量特性、如何判斷因素結構為組成型或反映型(8/11更新)

以下為與陳柏熹老師討論的記錄。

問題一、知識型測驗應強調驗證哪些心理計量特性?信度是否非驗證的重點?

→除了施測者間信度之外,其它的心理計量特性都應驗證。若於測驗後會提供個案解答,則可考慮以折半信度或複本信度取代再測信度。折半信度的拆題方式以因素結構為基礎拆題為佳。

問題二、知識型測驗的因素結構是否較傾向於於formative model,因此不適合驗證「需要計算題目間相關」的心理計量特性?
→知識型的測驗仍屬reflective model,因為是先瞭解某個概念,才能獲得較高的測驗分數(分數高低可反應個案對此概念之理解程度高低)。
KSQEFA結果不佳的可能原因是有些題目有問題而造成干擾。建議先將題目分類、刪除題目間相關特別低或負相關的題目後,每個因素進行一次CFA(當因素間可能有相關,直接將屬於同一因素的題目進行單一因素的驗證,可減少不同因素間的題目有相關所造成的干擾),再逐題刪除有問題的題目,或許可以得到比較好的結果。
KSQ之第10-1419-23題應視為題組 (cluster true-false),採用多元計分。因為每題都是同樣的題目敘述會影響作答者之判斷,使得題目間相關比較高。
KSQ的題目間相關雖然不高,但不是作為判斷formative model的最重要依據。因為題目間相關易受題目設計(例如:措辭)的影響。故應判斷是否有SK這個潛在構念,再決定SK的結構。

問題三、如何判斷問卷的結構為formative modelreflective model
→應以題目間是否有共同的潛在構念判斷因素結構。若有共同的潛在構念,則為reflective model。一般而言,個案自己填寫答案的測驗通常屬於reflective model,因為個案腦中有這樣的概念,才會寫出這個答案。若無共同的潛在構念,則為formative。通常這類題目為由他人評分之檢核表(例如:DSM-IV之診斷、醫療評鑑的項目),而最後的結果可彙整成一個指標 (index)
*
我的疑問:潛在構念本來就是抽象的,我要如何判斷有沒有潛在構念的存在?  =>經過與恩琦等人討論,我們認為潛在構念是研究者一開始就假定存在的概念,再用內容效度、建構效度以確認潛在構念之存在。又,在結構方成模式當中,不論是組成型或反映型模式的因素都稱作潛在構念。



問題四、如何驗證formative model項目之效度?
→以主成分分析決定應保留多少成分 (component),再由這幾個成分累積之可解釋變異量判斷。
*
補充:一般會在所有特性質中保留80%90%以上特性質所對應的特性向量(成分)。

問題五、是否有建構知識性測驗與驗證之範本?
→可參考陽明大學葉慈儀老師之減重素養研究(未發表)。由於健康識能包括瞭解(知識)、取得、評量、使用醫療資源四部分,而每個部分不一定來自同一個潛在構念,因此題目與每個部分之間的關係可能為reflective model,每個部分則可組合成一個指標 (index),屬於formative model(圖一)。

                                          圖一、減重素養之因素結構

*我於網上查到葉老師有多篇health literacy的著作。最近一篇相關的中文著作應可列為參考文獻。書目如下:
李守義、蔡慈儀、蔡憶文、郭耿南(民2012)。「中文健康識能評估量表」簡式量表的發 展與效度檢測。臺灣公共衛生雜誌,31,184-194。



補充陳老師對於OTK結構的看法:目前的結構相當複雜。應確認OTK的題目與教材對個案而言都是非常重要的,以免造成個案負擔。(他說:我會開車不代表我需要瞭解車子的所有性能。)
*我認為OTK的架構應該也是部分為反映型 (reflective),部分為組成型 (formative)(圖二)。題目所對應到的最下層因素可能反映型結構,因為可能好幾個題目都在測驗個案是否瞭解OT的服務對象有那些。而OTK是由許多不同的知識內容(因素)組合而成的。以醫院生理OT為例,生理OT的知識可能由服務對象、治療器材、治療方法、預期成效等概念組合而成,而不是「醫院生理OT知識」的潛在構念影響人們對於服務對象的瞭解。
新增說明文字
圖二、OTK之可能因素結構

8 則留言:

  1. looks great!
    問題四的說明,不夠明確,請補充。
    OTK 的架構亦不明確,請補充。

    回覆刪除
    回覆
    1. 謝謝老師。
      關於問題四的說明,陳老師只有提到這些。
      詳細資料我會查詢相關資料再補充上去。
      OTK架構的內容已經補充在本文中了,請老師再提供意見。謝謝您。

      刪除
  2. 有關問題四,當初陳老師的說明您可瞭解嗎?if so, 為何您記錄下來的如此有限。 if not, 您為何未跟陳老師澄清。可想辦法(如打電話或Skype)跟陳老師再澄清嗎?

    回覆刪除
    回覆
    1. 一開始我以為自己瞭解陳老師的說明,但是回來之後查詢主成份分析的書籍又覺得和陳老師說的有出入。
      當天因為陳老師接著還有一場討論,時間有限,未能澄清。
      已寫信詢問陳老師是否方便打電話或skype討論了!

      刪除
  3. 另請確定,OTK 的最下層結構,是否皆為 reflective models? 我有些保留。

    回覆刪除
    回覆
    1. 由題目內容判斷,OTK的最下層結構應為 reflective models。
      我不是很確定老師有些保留的原因。
      可以麻煩老師解釋一下您的顧慮為何嗎?謝謝您。

      刪除
  4. 我目前對SEM的概念(ex:reflective or formative model)還不是很了解,但那天我聽完陳柏熹老師的講解,我認為最下層的題目和所屬概念之間的關係應是reflective。其實陳柏熹老師並沒有使用"reflective model"這個專有名詞,他使用的是「測驗模式」這個說法。他說:只要是測驗,就是人自己去作答,就是「測驗模式」。如SK的題目,人腦中須有「中風的徵兆是甚麼」這樣的概念(可能之前聽過),才能去評斷目前題目的敘述是對或錯。就算是用猜的,也是因為不確定自己曾經聽過的概念,畢竟還是思考過。陳老師對於"formative model"的用詞是"index"。他認為"index"就不是個案自己作答才可以獲得,一般都是收集來的資料,如由他人觀察個案的表現獲得的資料。
    另外,我對於姿誼OTK架構和題目之間關係的看法是:我認為整體而言,OTK和題目之間的關係是"reflective model",只是因為現在OT服務分成不同領域/場所,導致OTK須依各個領域/場所細分,形成姿誼OTK架構圖前面"formative model"的樣子,我認為我們只是把OTK分類,好去編寫相關的知識教材,讓個案閱讀。總而言之,我認為一開始就只有OTK這個概念和題目對應。
    另外,我認為個案並不需要知道所有的OTK。或許在醫院接受生理OT的個案,我們只須他具備良好的生理OTK,而個案回答醫院生理OTK架構底下題目的分數,即構成醫院生理OTK程度,或者稱「醫院生理OTK素養」,我認為這個部分就比較偏"formative model"(收集個案在醫院生理OTK底下各個概念的分數)。

    回覆刪除