您好! 歡迎來到中南人才測評中心(第三方命題專家)
幫助優秀組織提高人事決策準確性

全國服務熱線:15364068073

訊中心

當前位置:資訊中心->人事考試理論與實踐->考試測量學基礎知識:概化理論及認知診斷理論

考試測量學基礎知識:概化理論及認知診斷理論

2022-02-09

考試是一種常見的測量形式,其作為一門科學,擁有深厚的理論基礎,了解理論基礎有利于考試工作的開展,研究院作為學術性機構,致力于加強考試科學知識的普及,本公眾號將會陸續推送考試科普知識,供各考試工作者參考學習。

本期文章轉自《中國考試》,共上下兩篇,按測量學的發展時間,分別介紹了四個測量學理論,本篇將介紹概化理論和認知診斷理論。


概化理論(GT)

經典測量理論一直占據測量理論的統治地位,卻存在誤差分離過于籠統、“嚴格平行測驗”很難在實際情境中實現等問題。針對經典測量理論存在的問題,20世紀70年代初,克倫巴赫(Cronbach)等人提出了概化理論(Generalizability Theory,GT)。概化理論將經典測量理論的內容和運用范圍進行了擴展和延伸。

圖片

克倫巴赫(Cronbach)

在概化理論中,測量情境關系由測量目標和測量側面構成。測量目標,即測驗中所要描述的特性,不僅僅是受測者的某種潛在特質,也可以是測驗題目或評分者的某種特性。測量側面則是影響和制約測量目標的各種因素和條件,包括測量工具、測量環境、測量時間等。測量側面又可分為隨機側面和固定側面。在隨機側面中,側面各水平是從所有可能的水平中隨機選??;固定側面的各水平則是固定不變的。

在概化理論模型中,至少需要包含一個隨機側面才能進行推廣或概化。概化理論將經典測量理論的信度轉化為概化系數Eρ2或可靠性指標φ系數,概化系數關注的是測量的相對誤差,可靠性指數則關注的是絕對誤差。

概化理論研究過程由兩部分組成,即G研究和D研究。

G研究是指在觀測全域上,根據測量設計對測量目標、所有側面以及它們之間的交互作用的方差協方差分量進行估計。在這個研究中,需要研究者明確測量對象和測量目標、測量側面和觀測全域以及它們的關系,還包括對測量設計和測量模式的確定。

D研究則是在G研究基礎上,通過改變測量側面結構、測驗模型等來考察概化系數和可靠性指數的變化,從而為有效控制誤差、提高測驗精度提供參考。其中,需要根據測量目的確定概化全域,也就是確定測驗結果推廣的側面,以及各側面推廣的范圍。根據確定的概化全域,在各側面條件樣本水平上重新估計G研究中各因素的效應和交互作用的方差分量,獲得特定概化全域上整個測驗的概化系數和可靠性指數。通過多次反復,獲得不同概化全域上的系數指標,比較這些系數的估計精度,從而確定最佳的測量設計方案,將G研究中的結果概化到新的全域上。

由于在實際的測量中,常會涉及一個測量目標同時具有多個全域分數的問題,比如一個測驗包括多個分測驗,這些分測驗的分數就可理解為同一測量目標所具有的多個全域分數。于是在單變量概化理論的基礎上發展出多元概化理論。多元概化理論在繼承單變量概化理論的基礎上,提供了測驗目標、測量側面等更為詳細的方差協方差分量信息,具有更為廣泛的使用范圍。


認知診斷理論

按照Mislevy R.J在1993年的觀點,心理與教育測量理論發展至今,大約經歷了兩個階段:第一階段為標準測驗理論階段,包括經典測量理論(CTT)、項目反應理論(IRT)和概化理論(GT);第二階段是以認知診斷(Cognitive Diagnosis)為核心內容的新一代測驗理論。

圖片

個體所得測驗總分相同或者在傳統測驗上的行為表現一致,并不代表他們一定有相同的心理加工過程。事實上,他們可能有不同的知識結構和解決問題的策略。一個單一而籠統的總分往往會掩蓋這些差別。新一代測驗理論——認知診斷則克服了這一局限性,它很好地將認知心理學的理論成果與現代的統計方法結合起來。

認知心理學的分析不僅可以明確被試正確作答所需的技能、策略、知識基礎與加工過程,還可以明確項目特征和刺激條件與作答反應的關系,從而有力地提高測驗編制過程對難度等性能的預控性。而要最終實現對被試個體差異的分析和解釋,還必須強調測驗設計,即根據測量對象的實質性心理模型來選擇、編制項目和測驗,達到詳細描述被試間差異的目的。認知診斷理論把認知過程與測量手段結合起來,不僅能對考生的整體水平作出評估,同時還可以將考生的認知結構模式化,利用合適的測量模型對不同的認知結構模式進行診斷,從而定量地考查考生的認知結構和個體差異,為個體下一步的矯正、培訓提供方向和指導。

經典測量理論與項目反應理論的主要目的是得出被試潛在特質的位置,主要強調被試的行為反應,而不是學習過程。認知診斷理論是建立在認知心理學基礎之上的測量,可以揭示項目反應背后的機制,也被稱為是基于認知心理學的項目反應理論。


本文轉載自《中國考試》


Copyright 中南人才測評中心(第三方命題專家) .ALL Rights Reserved.

湖南省長沙市雨花區金海路128號長沙國際研創中心A2棟1001   網站備案:贛ICP備10200863號-6TEL:15364068073

免费。色婬网站