能力指標系統的重組及表現標準適切性評估之研究
--以數學領域能力指標為例
研究者：杜佳真
中文摘要
本研究以九年一貫課程數學領域暫行綱要為例，瞭解能力指標系統發展的程序，並透過實徵的方式進行「數與量」和「代數」主題的重組以及第一、二階段表現標準適切性的評估。本研究的研究目的有七項：
1. 瞭解九年一貫課程數學領域暫行綱要發展的程序。
2. 瞭解九年一貫課程數學領域暫行綱要的內涵以及指標系統建構時的理念。
3. 瞭解九年一貫課程數學領域課程綱要和暫行綱要觀點的差異。
4. 以九年一貫課程數學領域暫行綱要的內涵為基礎，重新陳述「數與量」和「代數」主題軸的能力指標系統。
5. 以模糊得懷術來評估由研究者所重組的九年一貫課程數學領域能力指標暫行綱要「數與量」和「代數」主題軸的能力指標系統的適切性。
6. 瞭解我國學生在第一、二階段的「數與量」和「代數」主題軸之數學能力表現。
7. 透過標準設定的程序來評估由研究者重組之第一、二階段「數與量」和「代數」主題軸之數學基本能力表現標準的適切性。

本研究分為「研究一」、「研究二」與「研究三」三部份進行。
在「研究一」中，研究者透過質性分析的方式來瞭解暫行綱要發展的內涵和程序，並分析九年一貫課程數學領域暫行綱要和課程綱要觀點的差異。結果發現：暫行綱要發展歷程匆促，尚未考量到指標的呈現形式和檢視學生的表現結果，而暫行綱要和課程綱要的觀點從對於基本能力表現界定的差異，衍生出標準高低的爭議等不同看法。
「研究二」由研究者針對暫行綱要「數與量」和「代數」主題軸，進行重組和專家模糊得懷術適切性評估。主要邀集8位專家代表進行2次評估後，專家建議把表現標準融入指標內容中進行陳述，在本研究所重組的88項指標細項中，有46項通過7.5的門檻值，而有35項指標細項介於6.0-7.5之間，低於6.0的有7項。
「研究三」利用Angoff（1971）所提出的表現標準設定程序和得懷術技術，針對「數與量」和「代數」主題軸的第一、二階段表現標準適切性進行評估。經過15位專家代表進行3次評估問卷，結果發現：第一階段能力指標所指陳的學生表現標準較合乎我國學生的實徵結果，第二階段能力指標所指陳的表現標準較為簡單。
然後依據本研究過程整理出能力指標系統發展的四階段程序，作為未來能力指標系統發展的參考。
最後，本研究分別對「能力指標系統發展程序方面」、「能力指標系統發展技術層面」、「能力指標系統執行層面」以及「未來研究」等四方面提出建議。研究者衷心建議能力指標系統的發展能有更周延審慎的規劃和整合，同時進行適切性的評估，讓能力指標系統能發揮最大的效益。

Evaluation on reorganization of competence indicator system and applicability of performance standard：An example from research on competence indicator system of mathematics

Chia-Chen Tu

Abstract:

The temporary Curriculum Guidelines of Mathematics for grade 1-9 was used as subject of this study. It was intended to (1) better understand the procedure for development of competence indicator system, (2) reorganize the themes of “number and quantity” and “algebra” through fuzzy Delphi method, and (3) evaluate the applicability of performance standard at stage one and two. The purposes of this study are seven folds as described below:
1. To understand the procedure in developing the temporary Curriculum Guidelines of Mathematics for Grade 1-9.
2. To understand the essence of the temporary Curriculum Guidelines of Mathematics for Grade 1-9 and the intents in developing indicator system.
3. To understand the differences between the new Curriculum Guidelines of Mathematics for Grade 1-9 and the current temporary Guidelines.
4. To reorganize competence indicator system with new emphasis on the main themes of “number and quantity” and “algebra” based on the essence of temporary Curriculum Guidelines of Mathematics for Grade 1-9.
5. To evaluate the applicability of competence indicator system with fuzzy Delphi method.
6. To understand the performance of Taiwanese students in mathematics at stage one and two with “number and quantity” and “algebra” as main themes.
7. To evaluate the applicability of basic performance standard in mathematics at stage one and two reorganized by the researcher with “number and quantity” and “algebra” as main themes through performance standard setting procedures.

The study was carried out along three parts of research to meet the objectives. A brief description of each research including its approach and result are mentioned as follows:

Study one: the researcher tried to understand (1) the essence and procedure of how the temporary Curriculum Guidelines have been developed through qualitative analysis, and (2) the conceptual difference between the original Curriculum Guidelines of Mathematics for Grade 1-9 and the current temporary Guidelines. The results showed the temporary guidelines were developed hastily without taking into account of how the indicator should have been displayed and of the response from students. The difference in definition of basic performance led to disputes on issues such as how to set up the reasonable criteria.

Study two: This research set out to evaluate the applicability of reorganizing temporary Curriculum Guidelines with “number and quantity” and “algebra” as main themes by fuzzy Delphi method. A panel of eight experts was invited to conduct such evaluations twice. The conclusion from experts suggested including statement in the incorporation of performance standard into indicators. With 88 items of indicator reorganized in this research, 46 items were rated above the threshold of 7.5, 35 items were rated between 7.5 and 6, and 7 items were rated below 6.

Study three: This research was carried out to evaluate the applicability of performance standard at stage one and two with “number and quantity” and “algebra” as main themes with performance standard setting procedure proposed by Angoff (1971) and Delphi method. Three separate evaluations conducted by 15 experts showed that competence indicator of stage one could better corroborate with existing data on the performance standard of students in Taiwan. The competence indicator of stage two was less challenging in addressing the performance standard.

The procedure to develop competence indicator system in four stages was also compiled in this study as reference to similar efforts in the future.

In conclusion, this study offered advises on development of competence indicator system in the aspects of procedure, technicality, execution and future research. Researcher of this study sincerely suggests the development of competence indicator system to be more thoroughly planned and integrated with appropriate evaluation to achieve its best efficacy.

參考書目
壹、中文部分
cjr(民92：4月2日)。對「數學家與數學教育家不同觀點」之我思。訊息刊載於思摩特網九年一貫課程數學領域討論區。民92年4月2日擷取自http://www.sctnet.edu.tw/nineyear/view_top.
Educational Testing Centre (1998) 。國際學科評量1999：數學。Sydney：Educational Testing Centre.
selion(民91：3月31日)。訊息刊載於思摩特網九年一貫課程數學領域討論區。民92年4月2日擷取自http://www.sctnet.edu.tw/nineyear
selion(民91：4月2日)。訊息刊載於思摩特網九年一貫課程數學領域討論區。民92年4月2日擷取自http://www.sctnet.edu.tw/nineyear
丁馥萱（民90）。電子市集夥伴關係影響因素之探討。國立中山大學企業管理研究所博士論文。未出版。
王文科（民90）。教育研究法。台北：五南出版社。
王逸慧（民90）。九年一貫課程基本能力評量政策之研究。國立政治大學教育研究所碩士論文。未出版。
白憶蘭（民92）。生活能力？還是學力？－日本21世紀中小學教育中的人才觀。訊息刊載於思摩特網教育論壇。訊息刊載於思摩特網九年一貫課程數學領域討論區。民92年6月21日擷取自http://www.sctnet.edu.tw/nineyear/view_top.
成露茜（民88）。淺析基本能力與基本學力。翰林文教雜誌，5，24-25。
克魯切茨基（民82）。中小學生數學能力心理學。台北。九章出版社。
吳明清（民81）。教育研究－基本觀念與方法之分析。台北：五南出版社。
吳青蓉（民91）。英語學習歷程模式之驗證暨「主題建構式語言學習策略」對國中生英語學習表現影響之研究。國立台灣師範大學教育心理與輔導研究所博士論文。未出版。
吳政達（民87）。國民小學教師評鑑指標體系建構之研究。國立政治大學教育研究所博士論文。未出版。
吳昭容（民92）。「理解」與「計算」，有何兩難?載於「你建構我運算，孩子會了什麼？」數學教育之趨勢研討會論文集。國立台北師範學院，55-66。
吳清山、林天佑（民87）。基本能力。教育資料與研究，25,75-76。
吳清山、林天佑（民87）。基本學力。教育資料與研究，25,77。
吳清山、林天佑（民91）。得懷術。教育研究月刊，92,127。
吳毓瑩（民89）。從基本的確認到水準的期待－探討美國從基本能力測驗到課程標準評量之轉變。教師天地，109，18-29。
吳毓瑩（民90）。九年一貫課程之基本能力與學習領域的關係－交會合一或相互對話。課程與教學季刊，4（3），103-124。
呂美霓、陳玉君、吳舒靜（民91）。國中學生基本學力測驗與教育品質的共生關係－專訪台灣師範大學教育與心理輔導系林世華教授。教育研究月刊，96。民91年4月4日，摘要擷取自http://www.edujournal.com.tw/96/1.htm
李佩怡（民92）。助人者與癌症末期病人關係歷程之質性研究。國立台灣師範大學教育心理與輔導研究所博士論文。未出版。
周珮儀（民91）。再靠近一點看九年一貫課程。教育研究月刊，91，民91年4月3日參考自：http://www.edujournal.com.tw/93/1.htm.
周筱亭（民90）。數學為主軸的統整課程教學活動示例。台北：教育部台灣省國民學校教師研習會。台北：教育部台灣省國民學校教師研習會。
周筱亭、黃敏晃（民91）。國小數學教材分析。台北：教育部台灣省國民學校教師研習會。台北：教育部台灣省國民學校教師研習會。
岳修平譯（民87）。教學心理學－學習的認知基礎。台北：遠流出版社。
林世華（民88）。國民中學學生基本學力測驗發展計劃。國民中學學生基本學力測驗推動委員會通訊－你我之間，1，1-2版。
林世華、陳學志、盧雪梅（民93）。國民中小學九年一貫課程發展學習成就評量指標與方法。教育部委託專案研究。http://wwwpimasa.ecpsy.ntnu.edu.tw
林志成（民93年5月29日)。台灣學生將廣泛參加國際測驗。中國時報，A10版。
林怡婷（民91年12月21日）。老師也需要定期檢定。聯合報，3版。
林明煌（民93）。日本課程改革之變遷。教育研究月刊，122，86-97。
林長壽、張海潮、陳宜良、李瑩英、翁秉仁（民92）。教改：一些數學家的觀點。民92年4月2日擷取自：http://tms.math.ntu.edu.tw/article_03_03_13.htm
林虹君（民85）。模糊理論應用於管理才能評鑑模式之研究。高雄工學院碩士論文。未出版。
林清山(民81).。心理與教育統計學。台北：東華書局。
林清山譯（民80）。教學心理學－認知取向。台北：遠流出版社。
林惠芬(民82) 。通過分數設定方法在護理人員檢覈筆試測驗之研究。中國測驗學會，測驗年刊， 40， 253-262。
林義男譯（民78）。內容分析法導論。台北：巨流。
林福來（民83）。青少年比例推理概念發展。科教月刊，73，7-26。
林福來、黃敏晃（民82）。分數啟蒙課程的分析、批判與辯證。科學教育月刊，1(1)，557-591。
林福來、黃敏晃和呂玉琴（民85）。分數啟蒙的學習與教學之發展性研究。科學教育月刊，4（2），161-196。
林麗雪（民91，12月16日）。數學課程向八成學生靠攏。民生報，民92年9月21日擷取自http://nts1.nta.tp.edu.tw/〜k2301/1News/2002/12/77.htm。
洪瑞鎂（民90）。從「第三次國際數學與科學教育成就研究後續調查」探究台灣國二學生的數學基本能力。國立台灣師範大學數學研究所碩士論文。
孫曉萍（民87）。生存實力從容擁有。天下雜誌，23，30-32。
徐利治（民83）。數學史、數學方法和數學評價。載於數學家談數學教育，嚴士健主編，56-71，台北：九章出版社。
徐村和(民87)。模糊德菲層級分析法。模糊系統學刊，4（1），59-72。
徐宗國譯（民86）。質性研究概論。台北：巨流。
徐敏榮(民91)。國民小學教師評鑑規準之研究。國立屏東師範學院國民教育研究所碩士論文。
翁秉仁（民92）。數學教育與其腳踏車。載於「你建構我運算，孩子會了什麼？」數學教育之趨勢研討會論文集。國立台北師範學院。9-15。
翁秉仁（民92：4月2日）。談九年一貫數學。訊息刊載於數學教育論壇。民92年4月2日擷取自http:// /tms.math.ntu.edu.tw/edu/a_03_03_05a.htm
高強華(民84)。論提升教師專業成長的「教師評鑑」。載於中國教育學會主編，教育評鑑，247-272。台北：師大書苑。
涂金堂（民89）。淺談設定最低能力測驗通過標準的方法。測驗與輔導，158，3304-3308。
張海潮（民92年：3月14日）。九年一貫數學綱要必須重組。訊息刊載於思摩特網九年一貫課程數學領域討論區。民92年3月14日擷取自http://www.sctnet.edu.tw/nineyear/view_top.
張紹勳(民89)。分析法。研究方法。台北：滄海書局。
張鈿富（民89）。OECD國際性學生評量之探討。教育研究月刊， 83，28-43。
張鈿富（民90）教育指標理念簡介。載於當代教育指標－國際比較觀點。簡茂發、李棋明主編。頁2-25。台北：學富。
張德銳(民89)。師資培育與教育評鑑。台北：師大書苑。
張錦弘（民91年11月13日）。九年一貫，教部改為協同教學。聯合報，第5版。
張錦弘（民91年12月21日）。規劃補救教學，96學年度開始三六九年即將作基本能力檢定。聯合報，第3版。
張錦弘(民92年3月13日）。九年一貫數化學課程，我落後美日。聯合報，7版。
張錦弘（民92年4月26日）。中小學課程銜接問題多。聯合報，B8版。
教育部（民64）。國民小學課程標準。台北：教育部。
教育部（民82）。國民小學課程標準。台北：教育部。
教育部（民87）。國民中學學生基本學力指標。台北市：教育部教育研究委員會。
教育部（民87a）。國民中小學九年一貫課程暫行綱要。台北：教育部。
教育部(民89)。我國中小學國語文基本學力指標系統規劃研究。完整版。台北。教育部教育研究委員會。
教育部（民91）。國民中小學九年一貫課程暫行綱要。台北：教育部。
教育部（民91a）。國民中小學九年一貫課程重要名詞英譯參照表。教育部。
教育部（民92）。國民中小學九年一貫課程綱要數學學習領域。台北：教育部。
教育部（民92）。九年一貫數學領域綱要修訂草案。民92年6月30日擷取自http://tms.math.ntu.edu.tw/math.
教育部中小學數學教育前瞻委員會（民92）。教育部「九年一貫數學領域課程綱要修正草案」公聽會會議記錄。民國92年5月16日。
教育部統計處（民92）。國民小學概況。民92年4月20日擷取自www.edu.tw/statistics/index.htm.
教育部新聞稿（民92：5月16日）。辦理九年一貫課程數學領域綱要草案公聽會並澄清媒體就課程教材難度及節數之報導。教育部國教司。
莊雅斐（民93）。日本教育改革的新動向。教育研究月刊，122，153-163。
許世壁（民92）。建構式數學，計算能力與九年一貫數學教育。載於「你建構我運算，孩子會了什麼？」數學教育之趨勢研討會論文集。國立台北師範學院。35-48。
許敏溶（民91年12月22日）。中小學教學檢定國科會也有一套。民92年9月21日擷取自http://www..cdn.com.tw/live/2002/12/22/text/911222e2.htm.
郭諭陵（民83）。布魯姆認知目標分類法之研究。國立台灣師範大學教育研究所碩士論文。未出版。
陳星豪（民86）。高速鐵路技術刑事評估準則及方法之研究-模糊與灰色決策理論之應用。國立成功大學交通管理科學研究所碩士論文。未出版。
陳浩微（民92）。台灣的數學教育該何去何從。康軒教育雜誌，2003年6月。民92年12月16日擷取自http://www.knsh.com.tw/epaer/vwepaper/topic/200306/topic04_2.asp
陳淑美（民87）。數學焦慮症新解藥。光華雜誌，1998年7月。民92年11月27日擷取自http://www.taiwaninfo.org/ilnfo/sinorama/ch/1998/199807/707084c7.htm.
陳毅任（民88）。應用模糊理論確認交通建設BOT計畫特許公司營運影響因素之研究。國立台灣科技大學營建工程研究所碩士論文。未出版。
陶道毓（民92）。教學現場看數學改革。載於「你建構我運算，孩子會了什麼？」數學教育之趨勢研討會論文集。國立台北師範學院。43-48。
曾志朗（民92）。數字會說話。科學人，22，11。
游家政(民83)。國民小學後設評鑑標轉之研究。國立台灣師範大學教育研究所博士論文。未出版。
黃政傑等（民85）。中小學基本學力指標之綜合規劃研究。台北市：教育部教育研究委員會委託國立台灣師範大學教育研究中心研究專案113。
楊思偉等（民88）。規劃國民中小學九年一貫課程基本能力實踐策略。台北市：國立台灣師範大學教育研究中心專題研究成果報告151。
楊美伶（民92）。教師如何因應數學課程的改革。載於「你建構我運算，孩子會了什麼？」數學教育之趨勢研討會論文集。國立台北師範學院。1-8。
葉晉嘉（民87）。應用模糊理論於公共政策研究—改良式模糊德爾菲法。國立中興大學公共政策研究碩士論文。未出版。
葉連棋、林淑萍（民92）。布魯姆認知領域教育目標分類修訂版之探討。教育研究月刊，105，94-106。
劉玉雯（民87）我國國民教育指標與統計現況之研究。國立嘉義師範學院國民教育研究所碩士論文。未出版。
劉舜傑(民90)。建構優質的學校環境教育教材之特質取向：一個得懷術的研究。國立台灣師範大學環境教育研究所碩士論文。未出版。
劉廣定（民92：4月2日）。「數學教育對話」聆後感。訊息刊載於數學教育論壇。民92年4月2日擷取自http:// /tms.math.ntu.edu.tw/edu/article_03_03_26.htm
劉慶仁（1999）。美國中小學教育改革的趨勢--從學童教育卓越法談起。輯於文教新潮，民91年4月4日，摘要擷取自http://teach.eje.edu.tw/G-resource/G-main-frame.htm
歐陽教等（民88）。「我國中小學國語文基本學力指標系統規劃研究」成果報告。台北：國立台灣師範大學教育研究中心。
鄭昭明（民82）。認知心理學。台北：桂冠出版社。
鄭國順、陳宜良（民92）。數學教育的警訊與省思。訊息刊載於數學教育論壇。民92年4月2日擷取自http://tms.math.ntu.edu.tw/edu/article_03_03_06htm
鄭毓信（民87）。數學教育哲學。台北：九章出版社。
鄭毓信、李國偉（民88）。數學哲學中的革命。台北：九章出版社。
盧雪梅（民90）。「九年一貫課程能力指標」知多少。教育研究月刊， 85，66-75。
盧雪梅（民93）。從技術面談九年一貫課程能力指標建構：美國學習標準建構的啟示。教育資訊研究雙月刊，12卷2期，3-34。
駱焜棋（民92年4月26日）。民編本數學編排亂，難教難懂。聯合報，B8版。
謝豐瑞（民91）。九年一貫數學課程與數學教育。九年一貫學測研習工作坊：數學科指標建構及其意涵，1-14。
鍾聖校（民88）。論九年一貫新課程綱要基本能力與學力指標的配合。研習資訊，16卷2期，民92年11月10日擷取自http://www.naer.edu.tw/issue/j1/v16n2/12.htm
簡思惟（民92）。美國中小學的數學戰爭。康軒教育雜誌。2003年6月。民92年12月16日擷取自http://www.knsh.com.tw/epaer/vwepaper/topic/200306/topic04_1.asp
簡茂發等（民89）。教育指標系統整合型研究－子計劃一（整合規劃小組）三年總結報告。行政院國家科學委員會專題研究成果報告。（報告編號：NSC 89-2418-H-003-001-F16），未出版。
簡晟峰、陳秀涵（民93）。Content analysis. 民92年5月26日擷取自http://www.lins.fju.edu.tw/~su/rm91/res_ca.htm
魏健宏、徐文遠(民86) 。老人運輸課題研擬之研究。運輸計畫季刊，26（1），119-142。

貳、日文部分
文部省（1987）。小學校學習指標要領。文部省。
文部省（1987）。中學校學習指標要領。文部省。

參、英文部分
Anderson,J.R.(1976).Language,memory,and thought.Hillsdale,N.J.Erlbaum.
Anderson,L.W.&Krathwohl,D.R.（2001）.A taxonomy for learning teaching and assessing：A revision of Bloom’s taxonomy of educational objectives.NY：Addison Wesley Longman Inc.
Angoff,W.H.(1971).Scales,norms,and equivalent scores.In R.L.Thorndike(Ed.)Educational measurement(2nd ed).Washington DC:American Council on Education.
Arrasmith,G.A. &.Hambleton,R.K.(1988).Steps for setting standards with the Angoff method.(ERIC Document Reproduction Service No.ED 299 326)
Bandura,A.(1986).Social foundations of thought and action：A social cognitive theory.Englewood Cliffs,NJ：Prentice-Hall.
Bandura,A.（1993）.Perceived self-efficacy in cognitive development and functioning.Educational Psychologist,28,117-148.
Bloom,B.S.et al. （1956）Taxonomy of Educational Objectives：Handbook Ⅰ,Cognitive Domain .NY：David McKay Co.,Inc.
California Department of Education(1999).Mathematics content standards for California public school. Retrieved July 30,2004 from the World Wide Web www.cde.ca.gov/board/board.html.
Cizek,G.J.（1996）.Standard setting guidelines. Educational Measurement:Issue and Practice,13-20.
Conley,D.T.(2003).What is the alignment between knowledge and skill for University Success and State Academic Content Standards? (ERIC Document Reproduction Service No.ED 476 152)
Eizo,N.Toshio,S.& Hanako,S.（1990）.Mathematics program in Japan：Kindergarten to upper secondary school. (ERIC Document Reproduction Service No.ED 410 127)
Goodwin,L.D.(1999).Relations between observed item difficulty levels and Angoff minimum passing levels for a group of borderline examinees.Applied measurement in education,12(1),pp13-28.
Hambleton,R.K.(1996)Advances in Assessment Models,Methods,and Pratices.In Berliner,D.C. and Calfee,R.C.eds:Handbook of educatopnal psychology.pp899-925.New york.Simon& Schuster Macmillan
Hambleton,R.K.，Swaminathan,H.& Rogers, J. H.（1991）.Test score equating. in Fundamentals of item response theory，123-144，USA：Sage.
Hambleton,R.K.Jaeger,R.M.Plake,B.S.&Mills,C(2000).Setting performance standards on complex educational assessments.Applied Psychological Measurement,24(4),355-366.
Harrow,A.J.(1972).A taxonomy of the motor domain.N.Y.：David Mckay.
Hurtz.G.M.&Hertz,N.R.(1999）.How many raters should be used for establishing cutoff scores with the Angoff method？Educational and Psychological Measurement，59(6)，885-897.
Illinois State Board of Education(2002).Mathematics performance descriptors：Grade 1-5. Retrieved Dec 30,2002 from the World Wide Web：www.isbe.state.il.us/ils
Ishikawa,A.,Amagasa,T.,Tamizawa,G.,Totsuta,R.& Mieno,H.(1993).The Max-Min delphi method and fuzzy Delphi method via fuzzy integration,Fuzzy Sets and Systems,55,241-253.
Ishino ,T.(1995).Japan：.Performance standards in education:In search of quality. (ERIC Document Reproduction Service No.ED 409 638)
Jaeger,R.M.& Christian,B.J.（1984）.The effects of a Delphi modification of Angoff-Jarger standard setting procedure on standards recommended for the National Teacher examinations. (ERIC Document Reproduction Service No.ED 246 091)
Jaeger,R.M.(1989).Certification of student competence.In.Linn, R.L (Ed) Educational measurement.(3 rd.ed,pp485-514).NY:Macmillan.
Jaeger,R.M.(1995).Setting performance standards through two-stage judgmental policy capturing. Applied measurement in education, 8(1),15-40.
Jager,R.M.(1991).Selection of judges for standard setting.Educational Measurement:Issue and Practice，3-4.
John,J.；And Others（1988）.A note on the application of multiple matrix sampling to standard setting.Journal of Educational Measurement,25(2),pp159-164.
Kendall,J.S.（2001）.A technical guide for revising or developing standards and benchmarks. Retrieved May 27,2002 from the World Wide Web：www.mcrel.org
Krathwohl,D.R.,ed.,et al. （1964）Taxonomy of Educational Objectives：Handbook ⅡAffective Domaun. NY：David McKay Co.,Inc.
Martin,M.O.,Gonzalez,E.J.,Gregory,K.D.,Garden,R.A.,O’Connor,K.M., Chrostowski,S.J. & Smith,T.A.（2000）.TIMSS1999-International Mathematics Report：finding from IEA’sRepeat of the Third International Mathematics and Science Study at eight grade. Chest Hill，MA：Boston College
Martin,M.O.,Gonzalez,E.J.,Gregory,K.D.,Garden,R.A.,O’Connor,K.M., Chrostowski,S.J. & Smith,T.A.（2000）.TIMSS1999-International Mathematics Report：finding from IEA’sRepeat of the Third International Mathematics and Science Study at eight grade. Chest Hill，MA：Boston College.
Marzarno,R.J.（2001）.Designing a new taxonomy of educational objectives.USA：Crowin Press,Inc.
Massell,D.,Kirst,M,& Hoppe,M.（1997）.Persistence and change:Standard-Based systemic reform in nine states(Executive Summary).CPRE Policy Brief RB-21.Univ.of Pennsylvania.
Mayer,R.E.（1999）.The promise of education psychology. NJ：prentice Hall.
Mullis,I.V.S.,Martin,M.O.,Smith,T.A.,Garden,R.A.,Gregory,K.D.,Gonzalez,E.J.,Chrostowaki,S.J.,O’Connor,K.M.（2001）.TIMSS:Assessment frameworks and specifications 2003.MA：Boston College. Retrieved July 10,2002, from http://timss.bc.edu/timss2003i
NAEP（2002）http：//nces.ed.gov/nationsreportcard/itmrls/printproduce.asp.receieved by 2002.11.29
NAGB（1999）.Mathematics framework for the 1996 and 2000 National Assessment of Educational Progress .NAEP Mathematics consensus project. （ERIC Document No. ED 429845）
NAGB（2001）.Mathematics framework for 2004 National assessment of educational progress Retrieved July 10,2002, from http://www.nagb.org
National Curriculum（2001）.National curriculum on line. Retrieved Nev 28,2002, from :http://www.nc.uk.net/servlets/NCParserPhase1?Section=AT&Subject=Ma&Class=2.
NCTM（2000）.Principles and standards for school mathematics.「Electronic version」。Retrieved Feb 21,2002 from：http://standards.nctm.org/document.
OECD(1999)..Measuring student knowledge and skills：A new framework for assessment.Paris：Auther.
Patrick,I.,Plake,S., &Impara,J.C. (2000).Validity of item performance estimates from an Angoff standard setting study. (ERIC Document Reproduction Service No.ED 443 878)
Plake, B.S. (1995) The performance domain and the structure of decision space. Applied measurement in education, 8(1), 3-13.
Plake, B.S. (1995) The performance domain and the structure of decision space. Applied measurement in education, 8(1), 3-13.
Plake,B.S.& Impara,J.C.(2001).Ability of panelists to estimate item performance for a target group of candidates:An issue in judegmenal standard setting.Educational assessment,7(2),pp87-97.
Plake,B.S., Impara,J.C. & Patrick,M.I. (1999).Validation of Angoff-bases predictions of item performance. (ERIC Document Reproduction Service No.ED 430 004)
Plake,B.S., Impara,J.C. (1996).Intrajudge consistency using the Angoff standard-setting method. (ERIC Document Reproduction Service No.ED 398 251)
Plake,B.S.,Melican,G.J.,&Mills,C.N.(1991).Factors influencing intrajudge consistency during standard-setting.Educational Measurement:Issues and Practice,10(2),15-16,22,25.
Poter, A. C., Young, P., & Odden, A. (2001). Advances in teacher assessments. In V. Richardson (Ed.) Handbook of Research on Teaching. (pp.259-297) Washington, D.C. : American Educational Research Association.
Putnam,S.E.,Pence,P., & Jaeger,R.M.(1995).A multi-stage dominant profile method for setting standards on complex performance assessments.Applied measirement in education,8(1),57-83.
Raimi,R.A.&Braden,L.S.（1998）.State mathematics standards –An appraisal of math standards in 46 states ,the district of Columbia, and Japan,2（3）,Fordham Report. Retrieved May 29,2002 from the World Wide Web：www.edexcellence.net/standards/math.pdf
Raymond,M.R.&Reid,J.B.（2001）.Who made thee a judge？selecting and training participants for standard setting. In Cizek,G.J（Ed）Setting performance standards.（pp119-157）.NJ：Lawrence Erlbaum Associates.
Reckase,M.D.(1998).Converting boundaries between National Assessment Governing Board performance categories to point on the National Assessment of Educational Progress Score Scale：The 1996 Science NAEP Process. Applied measurement in education,11(1),9-21.
Reckase,M.D.(1998).Setting standards to be consistent with an IRT item calibration.ACT ,Inc.
Reckase,M.D.(2000a).The evolution of NAEP achievement levels setting process：A summary of the research and development efforts conducts by ACT. Iowa City, IA：ACT.Inc.
Reckase,M.D.(2000b).The ACT/NAGB standard setting process：how ‘Modify” does it have before it is no longer a Modified-Angoff process？(ERIC Document Reproduction Service No.ED 442 825).
Robbins,S.P.,(1994).Management,Prentice Hall.
Ruddock,G (1995).England and Wales. Performance standards in education:In search of quality. (ERIC Document Reproduction Service No.ED 409 638)
Rychen,D.S.& Salganil.L.H.(2003).Key competencies：for a successful life and a well-functioning society. USA:Hogrefe & Huber .
Scientific Software International（1996）.BILOG-MG.：Multiple-group IRT analysis and test maintenance for binary items. Chicago. Scientific Software International Inc.
Sizmue,S.（1997）.Look back in Angoff :a cautionary tale.British Educational Research Journal,23(1),3-13.
Thompson,A.D.（1999）.A case study of development of Florida’s mathematics standards. Unpublished doctoral dissertation, Florida state university, Florida.
Thurlow.M.L.&Ysseldyke.J.E.（2001）.Standard-setting challenges for special population.In Cizek,G.J（Ed）Setting performance standards.（pp387-409）.NJ：Lawrence Erlbaum Associates.
TIMSS(1995).TIMSS Mathmatics items：Released set for population 1（Third and Fourth grades）.
TIMSS(1999).TIMSS 1999 Assessment-8th Grade Mathematics .
Tuner,R.(2002).Proficiency scales construction. In R,Adem &M.Wu(Eds.)PI SA 2000 tchnical reeport.OECD.
UK（2002）.National curriculum in action. Retrieved July 22,2002 from the World Wide Web：www.ncaction.org.uk/subjects/maths
Werner,M.C.（1995）.Australian key competencies in an international perspective.National center for vocational education research,Leabrook（Australia）（ERIC Document No. ED 407587）
Whetton,C.,Twist,E.＆,Sainabury,M.（2000）.National tests and target setting：Maintaining consistent standards. (ERIC Document Reproduction Service No.ED 441 849) .
Yang,W.L. & Chen,W.H.(2000).Estimating cutpoints for the achievement levels setting process for the National Assessment of Educational Progress.(ERIC Document Reproduction Service No.ED 441 841)
Zaden,L.A.（1965）.Fuzzy set.Information and Control, 8, 338-353.