2010年11月5日 星期五

問卷刪題的標準:自由心證?

心測大報告:考前焦慮問卷要開始第二次刪題了!
儘管使用了很多指標協助判斷,還是發現有些題目的指標結果完全相反,
所以要另外花時間討論項目是刪是改。
尤其是適應行為的部分,原本是我們想特別強調的面向,
但是題目間相關結果不甚理想(因素分析倒是還不錯)、又難以區辨正反向題,因此內部一致性的計算陷入膠著狀態。

可是,老師和助教都一再強調:
無論那題是刪或不刪,都要提出合理的解釋。
儘管那題的刪題指標符合很多個,你也可以堅持保留它。例如:那是我們想強調的特色,或是他跟其他很重要的題目有高度相關。
當然,我們也會「合理地懷疑」別人之所以不刪題,是因為再刪就沒有題目了,內部一致性就會不好看......

總之,這學期發展問卷的作業對我來說,這是一個非常有用的練習。
想必對未來發展問卷,也會很有幫助!

註、我們一開始問卷設計了120多題,質性審題後剩下56題,現在量性審題後,預計再刪掉15-20題。
這個過程,已經花費許多時間和心力了!
真不知道那些質性審題後還剩下近百題的組別們,如何處理他們的問卷?該不會想都不想地就刪了吧?
總之,祝福他們了!

5 則留言:

  1. 哈囉~

    我覺得這件事情很有趣
    相關係數矩陣 or 共變異數矩陣 是因素分析的基礎
    所以比較我覺得比較有趣的是,

    如果題目間的相關不高
    還可跑出相當合理的因素分析結果
    不知道你們所選用的 淬取因素方法 和 轉軸 方法分別是什麼
    又是用什麼樣的方法決定因素數目的

    期待下禮拜看到你們的報告

    回覆刪除
  2. 應該是說不同因素間的item相關不高吧!同一個因素的題目之間應該相關要很高才對。

    萃取與轉軸方法其實應該是必須報告的,所以應該不會有「不知道」的情形?

    我只是路人啦哈哈哈!

    回覆刪除
  3. 感謝樓上大大的建議~

    我的想法是
    even是不同factor的item 如果最後是想要把量表加總起來
    是不是也要有低度相關以上的程度呢?

    不然是否反映這些item背後 沒有一個決定性的factor
    那我們加總的得到的分數 也許反映的就不像是一個constrcut
    而比較像是一個index了~

    不知道這樣的想法對不對
    還請多多指教囉~

    回覆刪除
  4. 首先,「量表能不能加總」本身就是個需要探討的問題,例如人格測驗就不能把內向性與外向性加起來,因為沒有意義(內向性+外向性=?中性?)。所以用你的話來說,這種量表背後並沒有一個決定性的因素,因為他有好幾個因素。

    而且有個決定性的因素有的時候也很怪:既然有一個決定性的因素,那好的分析應該會使得所有item都屬於同一個因素,就是那一個決定性的因素。當然,如果像貝克憂鬱量表BDI的話,就會只有一個因素,我不清楚你們設計的量表示不是這樣子 ^^"

    如果量表可以加總,那其實該題得分(或分量表得分)與總分是collinear的。

    所以總而言之,這真的要看量表的目的啦,沒有標準答案的。至於分析工具,我覺得SPSS的因素分析實在是很爛,由於因素分析的假設也挺多的,沒有去處理那些假設就硬解的話其實在解釋上很怪。用到現在還是Mplus最可愛!

    回覆刪除
  5. To Pieba & Antonio:
    感謝兩位提供的想法與建議,
    讓這個部落格看起來更像是個學術部落格 :)
    由於因素分析的部分我瞭解得還不夠完整,
    因此將於上課與查書之後,
    再將兩位關心的議題補上。

    回覆刪除