以下為與陳柏熹老師討論的記錄。
問題一、知識型測驗應強調驗證哪些心理計量特性?信度是否非驗證的重點?
→除了施測者間信度之外,其它的心理計量特性都應驗證。若於測驗後會提供個案解答,則可考慮以折半信度或複本信度取代再測信度。折半信度的拆題方式以因素結構為基礎拆題為佳。
問題一、知識型測驗應強調驗證哪些心理計量特性?信度是否非驗證的重點?
→除了施測者間信度之外,其它的心理計量特性都應驗證。若於測驗後會提供個案解答,則可考慮以折半信度或複本信度取代再測信度。折半信度的拆題方式以因素結構為基礎拆題為佳。
問題二、知識型測驗的因素結構是否較傾向於於formative
model,因此不適合驗證「需要計算題目間相關」的心理計量特性?
→知識型的測驗仍屬reflective model,因為是先瞭解某個概念,才能獲得較高的測驗分數(分數高低可反應個案對此概念之理解程度高低)。
→KSQ之EFA結果不佳的可能原因是有些題目有問題而造成干擾。建議先將題目分類、刪除題目間相關特別低或負相關的題目後,每個因素進行一次CFA(當因素間可能有相關,直接將屬於同一因素的題目進行單一因素的驗證,可減少不同因素間的題目有相關所造成的干擾),再逐題刪除有問題的題目,或許可以得到比較好的結果。
→KSQ之第10-14和19-23題應視為題組 (cluster true-false),採用多元計分。因為每題都是同樣的題目敘述會影響作答者之判斷,使得題目間相關比較高。
→KSQ的題目間相關雖然不高,但不是作為判斷formative model的最重要依據。因為題目間相關易受題目設計(例如:措辭)的影響。故應判斷是否有SK這個潛在構念,再決定SK的結構。
→知識型的測驗仍屬reflective model,因為是先瞭解某個概念,才能獲得較高的測驗分數(分數高低可反應個案對此概念之理解程度高低)。
→KSQ之EFA結果不佳的可能原因是有些題目有問題而造成干擾。建議先將題目分類、刪除題目間相關特別低或負相關的題目後,每個因素進行一次CFA(當因素間可能有相關,直接將屬於同一因素的題目進行單一因素的驗證,可減少不同因素間的題目有相關所造成的干擾),再逐題刪除有問題的題目,或許可以得到比較好的結果。
→KSQ之第10-14和19-23題應視為題組 (cluster true-false),採用多元計分。因為每題都是同樣的題目敘述會影響作答者之判斷,使得題目間相關比較高。
→KSQ的題目間相關雖然不高,但不是作為判斷formative model的最重要依據。因為題目間相關易受題目設計(例如:措辭)的影響。故應判斷是否有SK這個潛在構念,再決定SK的結構。
問題三、如何判斷問卷的結構為formative
model或reflective model?
→應以題目間是否有共同的潛在構念判斷因素結構。若有共同的潛在構念,則為reflective model。一般而言,個案自己填寫答案的測驗通常屬於reflective model,因為個案腦中有這樣的概念,才會寫出這個答案。若無共同的潛在構念,則為formative。通常這類題目為由他人評分之檢核表(例如:DSM-IV之診斷、醫療評鑑的項目),而最後的結果可彙整成一個指標 (index)。
*我的疑問:潛在構念本來就是抽象的,我要如何判斷有沒有潛在構念的存在? =>經過與恩琦等人討論,我們認為潛在構念是研究者一開始就假定存在的概念,再用內容效度、建構效度以確認潛在構念之存在。又,在結構方成模式當中,不論是組成型或反映型模式的因素都稱作潛在構念。
→應以題目間是否有共同的潛在構念判斷因素結構。若有共同的潛在構念,則為reflective model。一般而言,個案自己填寫答案的測驗通常屬於reflective model,因為個案腦中有這樣的概念,才會寫出這個答案。若無共同的潛在構念,則為formative。通常這類題目為由他人評分之檢核表(例如:DSM-IV之診斷、醫療評鑑的項目),而最後的結果可彙整成一個指標 (index)。
*我的疑問:潛在構念本來就是抽象的,我要如何判斷有沒有潛在構念的存在? =>經過與恩琦等人討論,我們認為潛在構念是研究者一開始就假定存在的概念,再用內容效度、建構效度以確認潛在構念之存在。又,在結構方成模式當中,不論是組成型或反映型模式的因素都稱作潛在構念。
問題四、如何驗證formative model項目之效度?
→以主成分分析決定應保留多少成分 (component),再由這幾個成分累積之可解釋變異量判斷。
*補充:一般會在所有特性質中保留80%或90%以上特性質所對應的特性向量(成分)。
→以主成分分析決定應保留多少成分 (component),再由這幾個成分累積之可解釋變異量判斷。
*補充:一般會在所有特性質中保留80%或90%以上特性質所對應的特性向量(成分)。
問題五、是否有建構知識性測驗與驗證之範本?
→可參考陽明大學葉慈儀老師之減重素養研究(未發表)。由於健康識能包括瞭解(知識)、取得、評量、使用醫療資源四部分,而每個部分不一定來自同一個潛在構念,因此題目與每個部分之間的關係可能為reflective model,每個部分則可組合成一個指標 (index),屬於formative model(圖一)。
→可參考陽明大學葉慈儀老師之減重素養研究(未發表)。由於健康識能包括瞭解(知識)、取得、評量、使用醫療資源四部分,而每個部分不一定來自同一個潛在構念,因此題目與每個部分之間的關係可能為reflective model,每個部分則可組合成一個指標 (index),屬於formative model(圖一)。
圖一、減重素養之因素結構
*我於網上查到葉老師有多篇health literacy的著作。最近一篇相關的中文著作應可列為參考文獻。書目如下:李守義、蔡慈儀、蔡憶文、郭耿南(民2012)。「中文健康識能評估量表」簡式量表的發 展與效度檢測。臺灣公共衛生雜誌,31,184-194。
*我於網上查到葉老師有多篇health literacy的著作。最近一篇相關的中文著作應可列為參考文獻。書目如下:李守義、蔡慈儀、蔡憶文、郭耿南(民2012)。「中文健康識能評估量表」簡式量表的發 展與效度檢測。臺灣公共衛生雜誌,31,184-194。
補充陳老師對於OTK結構的看法:目前的結構相當複雜。應確認OTK的題目與教材對個案而言都是非常重要的,以免造成個案負擔。(他說:我會開車不代表我需要瞭解車子的所有性能。)
*我認為OTK的架構應該也是部分為反映型 (reflective),部分為組成型 (formative)(圖二)。題目所對應到的最下層因素可能反映型結構,因為可能好幾個題目都在測驗個案是否瞭解OT的服務對象有那些。而OTK是由許多不同的知識內容(因素)組合而成的。以醫院生理OT為例,生理OT的知識可能由服務對象、治療器材、治療方法、預期成效等概念組合而成,而不是「醫院生理OT知識」的潛在構念影響人們對於服務對象的瞭解。
*我認為OTK的架構應該也是部分為反映型 (reflective),部分為組成型 (formative)(圖二)。題目所對應到的最下層因素可能反映型結構,因為可能好幾個題目都在測驗個案是否瞭解OT的服務對象有那些。而OTK是由許多不同的知識內容(因素)組合而成的。以醫院生理OT為例,生理OT的知識可能由服務對象、治療器材、治療方法、預期成效等概念組合而成,而不是「醫院生理OT知識」的潛在構念影響人們對於服務對象的瞭解。
looks great!
回覆刪除問題四的說明,不夠明確,請補充。
OTK 的架構亦不明確,請補充。
謝謝老師。
刪除關於問題四的說明,陳老師只有提到這些。
詳細資料我會查詢相關資料再補充上去。
OTK架構的內容已經補充在本文中了,請老師再提供意見。謝謝您。
有關問題四,當初陳老師的說明您可瞭解嗎?if so, 為何您記錄下來的如此有限。 if not, 您為何未跟陳老師澄清。可想辦法(如打電話或Skype)跟陳老師再澄清嗎?
回覆刪除一開始我以為自己瞭解陳老師的說明,但是回來之後查詢主成份分析的書籍又覺得和陳老師說的有出入。
刪除當天因為陳老師接著還有一場討論,時間有限,未能澄清。
已寫信詢問陳老師是否方便打電話或skype討論了!
另請確定,OTK 的最下層結構,是否皆為 reflective models? 我有些保留。
回覆刪除由題目內容判斷,OTK的最下層結構應為 reflective models。
刪除我不是很確定老師有些保留的原因。
可以麻煩老師解釋一下您的顧慮為何嗎?謝謝您。
我目前對SEM的概念(ex:reflective or formative model)還不是很了解,但那天我聽完陳柏熹老師的講解,我認為最下層的題目和所屬概念之間的關係應是reflective。其實陳柏熹老師並沒有使用"reflective model"這個專有名詞,他使用的是「測驗模式」這個說法。他說:只要是測驗,就是人自己去作答,就是「測驗模式」。如SK的題目,人腦中須有「中風的徵兆是甚麼」這樣的概念(可能之前聽過),才能去評斷目前題目的敘述是對或錯。就算是用猜的,也是因為不確定自己曾經聽過的概念,畢竟還是思考過。陳老師對於"formative model"的用詞是"index"。他認為"index"就不是個案自己作答才可以獲得,一般都是收集來的資料,如由他人觀察個案的表現獲得的資料。
回覆刪除另外,我對於姿誼OTK架構和題目之間關係的看法是:我認為整體而言,OTK和題目之間的關係是"reflective model",只是因為現在OT服務分成不同領域/場所,導致OTK須依各個領域/場所細分,形成姿誼OTK架構圖前面"formative model"的樣子,我認為我們只是把OTK分類,好去編寫相關的知識教材,讓個案閱讀。總而言之,我認為一開始就只有OTK這個概念和題目對應。
另外,我認為個案並不需要知道所有的OTK。或許在醫院接受生理OT的個案,我們只須他具備良好的生理OTK,而個案回答醫院生理OTK架構底下題目的分數,即構成醫院生理OTK程度,或者稱「醫院生理OTK素養」,我認為這個部分就比較偏"formative model"(收集個案在醫院生理OTK底下各個概念的分數)。
謝謝菀薈的補充。
刪除