研究生: |
周明華 Jou, Ming-Hwa |
---|---|
論文名稱: |
我國技術學院綜合評鑑之後設評鑑研究 A Meta-Evaluation on Comprehensive Evaluation of Institutes of Technology in Taiwan |
指導教授: |
楊朝祥
Yang, Zhao-Xiang 田振榮 Tien, Chen-Jung |
學位類別: |
博士 Doctor |
系所名稱: |
工業教育學系 Department of Industrial Education |
論文出版年: | 2009 |
畢業學年度: | 97 |
語文別: | 中文 |
論文頁數: | 407 |
中文關鍵詞: | 技術學院 、綜合評鑑 、後設評鑑 |
英文關鍵詞: | Institutes of Technology, Comprehensive Evaluation, Meta-Evaluation |
論文種類: | 學術論文 |
相關次數: | 點閱:135 下載:13 |
分享至: |
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
本研究旨在探討高等技術校院擴增、高教普及化之後,如何改進評鑑作業,確保教育品質。本研究目的包括:1.發展技術學院綜合評鑑之後設評鑑標準;2.依據後設評鑑標準實施問卷調查,分析技術學院綜合評鑑實施情形;3.瞭解評鑑委員、受評學校人員在後設評鑑之看法;4.比較不同背景評鑑委員、受評學校人員在後設評鑑看法的差異;5.訪談並瞭解技職教育及評鑑專業領域之學者專家對技術學院評鑑之看法;6.綜合比較問卷調查與專家訪談結果,歸納研究結論,提出建議,供主管教育行政機關參考。
本研究採用問卷調查及專家訪談等研究方法進行,研究對象包括:95、96年度參與教育部辦理技術學院綜合評鑑之評鑑委員及受評學校代表、教育行政機關與技職教育及評鑑領域學者代表。主要研究工具為「我國技術學院綜合評鑑調查問卷」及訪談題綱。
本研究主要結果如下:
1.技術學院綜合評鑑之後設評鑑標準包含四個構面、廿一個向度、七十二個題項;2.根據五等量表之後設評鑑標準,技術學院綜合評鑑在後設評鑑標準四個構面之同意度略高於「普通」;3.探討不同身份、不同背景者對技術學院綜合評鑑看法之差異性。4.驗證問卷調查與專家訪談結果發現:(1)評鑑能達成發現問題、積極改善、提升品質的目標;(2)技術學院綜合評鑑尚屬公正客觀,能適度反映辦學實況;(3)指標尚能彰顯技職教育特色,但須正確解讀指標意涵;(4)評鑑委員需具備專業領域、技職教育、評鑑專業等知能;(5)學校自我評鑑機制仍待加強;(6)評鑑之晤談時間有助驗證學校辦學策略及瞭解教學;(7)現階段技術學院評鑑採等第制尚屬合宜;(8)評鑑成績的等第分佈尚屬合理;(9)尚能同意評鑑結果與政府之行政措施結合;(10)評鑑執行單位能妥當安排評鑑程序,順利完成評鑑工作;(11)評鑑委員多能遵守倫理、利益迴避原則;(12)受評者的權益受到充分重視;(13)評鑑結果尚能符合社會期待。最後提出近程、中長程及後續研究建議。
This study aims to probe how to improve the evaluation process in order to ensure educational quality after the enlargement of higher educational institutions which leads to the popularization of higher education in Taiwan. The objectives are: 1. to develop meta-evaluation criteria for comprehensive evaluation of institutes of technology, 2. to analyze the implementation of comprehensive evaluation based on the meta-evaluation criteria through questionnaire survey, 3. to understand the viewpoints of meta-evaluation in the evaluators and the staff of the institutions evaluated, 4. to compare the differences in the opinions on meta-evaluation among evaluators and institution staff with different background, 5. to interview scholars and experts in the related fields of technological education & evaluation in order to understand their viewpoints about the implementation of evaluation on technological institutions, 6. to propose suggestions for educational administration authority based on the synthesized findings of questionnaire survey and interviews of this study.
Questionnaire survey and interview were adopted in this study. The major groups of stakeholders involved in the process of this study were: evaluators and the randomly chosen faculty members of schools which were evaluated by the Ministry of Education in 2006 & 2007, the representatives of educational administration authority and scholars in the field of technological education. ‘The Questionnaire of the Comprehensive Evaluation of Institutions of Technology’ & interview outlines were developed by the author as research tools.
The major results of this study are as follows:
1. The criteria of meta-evaluation consist of 4 domains (utility , feasibility , propriety, accuracy), 21 dimensions and 72 items. 2. Based on the meta-evaluation criteria adopting a five-point Likert scale, the result indicates that the approval rating on the 4-domain components of meta-evaluation criteria was slightly higher than the average level in comprehensive evaluation. 3. The differences in opinions on meta-evaluation among those people with different background are discussed. 4. After the verification of the result of questionnaire survey and interview, the major findings are: (1) the evaluation can help schools achieve the goals of discovering problems, improving the current system, and upgrading educational quality, (2) the comprehensive evaluation is fair and objective that can reflect the real situation how schools operate; (3) the evaluative criteria are able to manifest the characteristics of technological education if they can be precisely interpreted; (4) it is suggested that the evaluators require the abilities in the fields of occupational specialty, technological education and evaluation; (5) school self-evaluation mechanism needs to be improved; (6) interviews with faculties and students during the evaluation process help to verify the school implementation system of educational plans, and to understand the teaching results; (7) it is proper to adopt grading system for comprehensive evaluation at the current stage; (8) the result of grading of comprehensive evaluation was considered reasonable to some extent; (9) it is agreed that the government’s administrative measures and distribution of subsidies were, to some degree, based on the result of evaluation;(10) the executive organization responsible for the evaluation project in schools can carry out the process smoothly; (11) most of the evaluators were able to keep to the evaluative ethics and advantage-taking avoidance principle; (12) the rights and interests of schools have been taken into full consideration; (13) the result of comprehensive evaluation of institutes of technology meets the expectation of the public to some extent. Finally, suggestions for short- , medium- & long-term development and the directions of further research are proposed.
一、中文部分
王如哲(1999)。比較教育。臺北市:五南。
王明源(2008)。大學校務評鑑之後設評鑑研究:以教育部93年度大學校院校務評鑑為例。國立台北教育大學教育政策與管理研究所博士論文,未出版。
王保進(1997)。我國師資培育教育學程評鑑的可行模式之研究。行政院國家科學委員會專題研究計畫成果報告。
王保進(2003)。主要國家高等教育評鑑實務暨我國資訊學門評鑑制度之規劃。行政院國家科學委員會專題研究計畫成果報告。
吳明隆(2007)。結構方程模式的操作與應用。台北市:五南圖書出版公司。
吳清山、王湘栗(2004)。教育評鑑的概念與發展。教育資料集刊,29,1-26。
吳清山、林天祐(1999)。教育名詞解釋:教育評鑑。教育資料與研究,29, 66。
李國偉(1996)。教育基本法的理念分析。教育改革審議委員會第20次委員會議報告。教改通訊,18,8-11。
李緒武(1993)。教育評鑑的意義與發展。載於伍振鷟主編:教育評鑑,1-12。台北市:南宏。
周明華(2009)。教育品質的推手 中立客觀的裁判—從提升技職校院評鑑委員評鑑知能談起。評鑑雙月刊,17,25-27。
林天祐、蔡菁芝(2001)。教育評鑑的理念分析。教育研究,91,36-44。
林劭仁(2001)。我國高級中學後設評鑑指標之研究。國立政治大學教育研究所博士論文,未出版。
林尚平(2007)。後設評鑑與未來高等技職校院評鑑的定位。評鑑雙月刊,7,36-38。
林尚平(2008)。技專評鑑的成效與反思。評鑑雙月刊,12,27-31。
林尚平(2008)。評鑑取向的觀點。評鑑雙月刊,14,23-28。
林聰明(2004)。92年度技術學院評鑑成果簡報。未出版。
林聰明(2007)。建立公平、公正、客觀之評鑑機制-訪雲林科技大學林聰明校長談技專校院評鑑。高教技職簡訊,13。
徐昌慧(2008)。專科學校評鑑97年度起辦理四年。評鑑雙月刊,15,43-47。
徐昌慧(2009)。科技大學暨技術學院評鑑之指標修訂及未來發展。評鑑雙月刊,18期,36-40。
秦夢群(1998)。臺灣大學評鑑制度的分析與檢討。海峽兩岸大學教育評鑑之研究,師大書苑。
秦夢群(2000)。教育行政-實務部分。台北市:五南。
教育部(2001)。大學評鑑機制改進方案報告(未出版)。
教育部(2003)。技職百科全書。台北市:教育部。
教育部(2006a)。美國大學教育評鑑。教育部駐美國台北經濟文化代表處文化組整理(未出版)。
教育部(2006b)。日本之大學、短期大學、高等專門學校評鑑。教育部台北駐日文化代表處文化組整理(未出版)。
教育部(2006c)。95年度科技大學評鑑計畫(評鑑委員手冊)。社團法人台灣評鑑協會編印(未出版)。
教育部(2006d)。95年度技術學院評鑑手冊(評鑑委員)。國立雲林科技大學技術及職業教育研究中心編印(未出版)。
教育部(2007)。96年度技術學院評鑑手冊。國立雲林科技大學技職教育研究及教學資源中心編印(未出版)。
教育部(2008)。教育統計指標之國際比較。台北市:教育部。
教育部(2009)。教育部技術及職業教育司KMS(未出版)。
梅瑤芳(2005)。技術學院績效指標之發展研究。國立台灣師範大學工業科技教育學系人力資源組博士論文,未出版。
郭昭佑(2006)。當評鑑遇上教育—教育評鑑意涵探究。教育行政與評鑑學刊,2,19-42。
陳玉琨(1998)。大學教育評估的理論基礎和未來研究的趨勢。載於胡悅倫(主編):海峽兩岸大學教育評鑑之研究,191-215。台北市:師大書苑。
陳信翰(2007)。我國大學校院系所評鑑之後設評鑑研究。國立台北市立教育大學教育行政與評鑑研究所碩士論文,未出版。
陳曼玲(2009)。凸顯技職特色推動技職校院學生全面實施實習與證照法制化—專訪教育部常務次長林聰明。評鑑雙月刊,19,1-3。
陳漢強(1992)。美國大學評鑑的爭議問題。現代教育,7期,27-38。
曾淑惠(1996)。我國專科學校後設評鑑之研究。國立台灣師範大學工業教育研究所博士論文,未出版。
曾淑惠(2002)。技職教育方案後設評鑑檢核表建構之研究。行政院國家科學委員會補助專題研究計畫成果報告,未出版。
曾淑惠(2002)。教育方案評鑑。臺北市:師大書苑。
曾淑惠(2004)。教育評鑑模式。臺北市:心理出版社。
游家政(1994)。國民小學後設評鑑標準之研究。國立台灣師範大學教育研究所博士論文,未出版。
游家政、曾祥榕(2004)。教育評鑑的後設評鑑。教育資料集刊,第29輯,頁53-94。
游家政、曾祥榕(2005)。後設評鑑方法論。評鑑模式—教育及人力服務的評鑑觀點。蘇錦麗等譯,台北市:高等教育文化事業公司。
游進年(1999)。CIPP模式在臺灣國民中學輔導工作評鑑應用之研究—以宜蘭縣為例,頁47。國立臺灣師範大學教育系博士學位論文,未出版。
湯梅英(1992)。從績效責任談大學評鑑。現代教育,7期,頁48-61。
黃光雄(1989)。教育評鑑的模式。臺北市:師大書苑。
黃光雄(2005)。系統的評鑑:理論與實務的自我教學指引(Systematic Evaluation: A Self-Instructional Guide to Theory and Practice,Daniel L. Stufflebeam & Anthony J. Shinkfield著)。臺北市:師大書苑。
黃政傑(1993)。課程評鑑。台北市:師大書苑。
黃政傑、李隆盛、游家政(1994)。國民小學教育評鑑之研究。行政院國家科學委員會補助專題研究計畫成果報告,未出版。
黃政傑(1996)。教育改革的理念與實踐。台北市:師大書苑。
黃政傑等著(1998)。大學校務綜合評鑑指標建構之研究。師範大學教育研究中心,教育部。
黃曙東(2005)。CIPP評鑑模式。評鑑模式—教育及人力服務的評鑑觀點。台北市:高等教育文化事業公司。
黃曙東、蘇錦麗(2005)。後設評鑑研究:以2001年大學校院實施自我評鑑計畫成果報告書為例。教育研究集刊,51輯2期,31-65。
詹益成(2003)。桃園縣立國民小學教育評鑑實施現況之調查研究。國立新竹師範學院國民教育研究所碩士論文,未出版。
楊思偉、陳盛賢(2007)。日本高等教育評鑑制度。台北:台灣評鑑協會。
楊國賜(2003)。提昇大學教育品質,增進國際競爭力。教育資料與研究,54期,75-86。
楊朝祥(2007)。促進高等技職教育發展之評鑑策略。評鑑雙月刊,8期,36-39。
楊瑩(2006)。英國高等教育研究評鑑改革新趨勢。評鑑雙月刊。3期, 47-50。
楊瑩(2009)。英國高等教育品質保證制度之運作與實施現況。評鑑雙月刊。17期,49-53。
楊瑩、楊國賜、侯永琪等(2007)。95年度大學校院系所評鑑後設評鑑研究報告。財團法人高等教育評鑑中心基金會委託研究,未出版。
鄭崇趁(2006)。國民中小學校務評鑑指標及實施方式研究。台北,心理出版社。
盧增緒(1985)。教育評鑑初探。師大學報,30,515-525。
盧增緒(1995)。論教育評鑑觀念之形成。中國教育學主編,教育評鑑,3-59。台北:師大書苑
穆慧儀(2003)。國民中學後設評鑑之研究—以臺北市為例。國立台北師範學院國民教育研究所碩士論文,未出版。
賴志峰(1997)。台北市幼稚園後設評鑑之研究。國立政治大學教育研究所碩士論文,未出版。
戴曉霞(2000)。高等教育的大眾化與市場化。台北,揚智文化。
顏國樑(2000)。教育基本法的立法過程與立法精神。教育資料與研究,32,11-18。
羅文全(2005)。台北市高職校務評鑑之後設評鑑研究。國立台北科技大學技術及職業教育研究所碩士論文,未出版。
蘇錦麗(1995)。大學學門評鑑試辦計畫成效評估之研究。台北,師大師苑。
蘇錦麗(1999)。86學年度大學綜合評鑑試辦計畫成效評估之研究。國立新竹師範學院,教育部。
蘇錦麗、楊瑩、王偉中、呂鴻德、詹惠雪(2001)。八十六學年度大學綜合評鑑試辦計畫成效評估之研究,新竹師院學報,14,127-162。
蘇錦麗(2004)。展望我國教育評鑑專業之發展。輯於國立台灣師範大學教育研究中心主辦,教育評鑑回顧與展望學術研討會論文集,24-27。台北市:國立台灣師範大學。
蘇錦麗、王麗雲、郭昭佑、王振世、張德勝、葉忠達等譯(2005)。Stufflebeam D.L., Mandaus G.F.,&Kellaghan T.著。評鑑模式—教育及人力服務的評鑑觀點。台北:高等教育文化事業有限公司。
二、外文部分
Anderson, S.B.(1984). On the ERS standards. Paper presented at Joint Meeting of the Evaluation Network and the Evaluation Research Society(San Francisco,CA, October 11, 1984).EDRS ED269412.
Alkin, M.C., & Stecher, B.(1983). A study of evaluation costs. From M. C. Alkin & L. C. Solmon,(Eds). The costs of evaluation (pp.119-132).CA:Sage.
Bayless,D.L.,Cahalan,M.,&Stufflebeam,D.L.(1990). Written Standards as A Process to Improve Survey Data Quality: A Riview of Selected National StandaStanda.(ERIC Document Reproduction Service NO. ED 324 357)
Bennet, J. (2003). Evaluation Methods in Research. London: Continuum.
Boulmetis, J., & Dutwin, P.(2000). The ABCs of Evaluation: Timeless techniques for program and project managers. San Francisco: Jossey-Bass.
Brinkerhoff, R. O., Brrethower, D. M., Hluchyj, T. & Nowakowski, J. R.(1983). Program evaluation: A practitioner’s guide for trainers and educators. Boston: Boston: Kluwer-Nijhof.rds.
CHEA(1998). Recognition of accrediting organizations policy and procedures. Washington, DC: Council For Higher Education Accreditation.
Chelimsky,E.(1985). Program evaluation: Patterns and directions. Washington, D. C.: American society for public administration.
Cook T. D.(1974). The potential, and limitations of secondary evaluation. In M. W. Apple, M. J. Subkoviak, & H. S. Lufler, Jr.(Eds.), Educational evaluation: Analysis and responsibility(pp.155-235). Berkeley, CA: McCutchen.
Cook T. D. & Gruder, C.L.(1978).Metaevaluation research. Evaluation Quaterly, 2(1),5-51.
Dockrell, W. B.(1983). Applicability of standards for educational programs, projects and materials in an international setting: Qualitative research. Paper presented at the Annual Meeting of the AERA(67. Montreal, Quebec, April 11-15,1983).EDRS ED229405.
Evaluation Research Society Standards Committee(1982). Evaluation Research Society standards for pr ogram evaluation. In P. H. Rossi(Ed.). Standards for Evaluation Practice,p.11-17.
Guba, E.,& Lincoln, Y.(1989).Fourth generation evaluation, California: Sage.
Joint Committee on Standards for Educational Evaluation(1988). The personnel evaluation standards: how to assess systems for evaluation educators. Newbury Park, CA: Sage.
Joint Committee on Standards for Educational Evaluation (1994). The Program evaluation standards: how to assess evaluations of educational program. (2nd). CA: Sage.
Harlen, W., & Elliott, J.(1982). A Checklist for Planning or Reviewing an Evaluation. In R. McCormick, J. Bynner, P. Clift, M. James, & C. M. Brown(Eds), Calling Education to Account(p.296-304). London: Open University.
Kells, H. R.(1984).Self-study process. N.J.:MacMillian.
Ketetku, N.(1999). Professional accreditation: An advisory opinion. The European Newsletter, Fall, 1-3.
Lenn, M. P.(1987).Accredition, Certification and Licensure. In M. A. F. Rehnke(ed). Creating Career Programs in a liberal arts content. New direction for higher education,(no.57, pp49-63) San Francisco: Jossey Bass.
Marklund, S.(1983).Applicability of Standards for Educational Programs,projects, and materials In an international setting: Qualitative research. Paper presented at the Annual Meeting of the AERA(67. Montreal, Quebec, April 11-15,1983).EDRS ED229390.
Morley, L.(2003).Quality and power in higher education. Philadelphia, PA: Society for Research into Higher Education & Open University Press.
NACIQI(2003).National recognition of State approval agencies by the U.S. Secretary of Education. Washington, DC: National Advisory Committee on Institutional Quality and Integrity.
NCIHE(1997). Dearing Report. Retrieved June 10, 2005, from http:www.leeds.ac.uk/educol/niche/
Nevo, D. (1995). School-based evaluation: A dialogue for school improvement. NewYork:Pergamon.
Nunnally, J. (1978). Psychometric Theory (2d ed). New York: McGraw-Hill.
Orata, P.T.(1940). Evaluating evaluations. Journal of Educational Research,33, 641.
QAA (2005). Quality assurance in UK higher education: A guide for international readers. Retrieved May 8, 2005, from http://qaa.ac.uk/international/studentGuide/English_readers.asp
Schwnadt,T. A.,&Halpern, E. S.(1988).Linking auditing and metawvaluation. Newbury Park, CA:Sage.
Scriven, M.(1969).Evaluation skills. Washinton, D. C.: American Educational Research Association.
Scriven, M.(1972).An introducation to metaevaluation. In P. A. Taylor & D. M. Cowley (Eds.), Readings in curriculum evaluation. Dubuque, IA: W. C. Brown.
Scriven, M.(1974).Evaluation perspectives and procedure. In W. J. Popham,(Ed.)Educational in education: Current applications(pp.3-33). Berkeley, CA: McCutchen.
Scriven, M. (1994). Evaluation as a discipline. Studies in Educational Evaluation, 20, 147-166.
Scriven, M.(2004).Key evaluation checklist. Retrieved February 27, 2004, from http://www.wmich.edu/evalctr/checklists/kec.htm
Smith, N. L.(1981a). New techniques for evaluation. CA:SAGE.
Smith, N. L.(1981b). Criticism and meta-evaluation. In Smith, N. L. (Ed.)(1981). New techniques for evaluation(pp.226-273).
Smith, N. L.(1981c). Evaluation thesaurus. CA: Edge Press.
Smith, N. L.(1993). Considerations on the development of culturally relevant evaluation standards. Studies in Educational Evaluation,19,3-13.
Straw,R. B. & Cook T. D.(1990). Meta-evaluation. In H. J. Walberg & G. D. Haertej (Eds.), International encyclopedia of educational evaluation, 58-60. NY: Pergmon Press.
Stufflebeam, D.L.(1974a). Metaevaluation.(Occasional paper No.3). Kalamazoo, MI: Western Michigan University Evaluation Center.
Stufflebeam, D.L.(1974b).Toward a technology for evaluating evaluation.(ERIC document reproduction service No. ED090319).
Stufflebeam, D.L.(1981). Metaevaluation: Concepts, standards, and use. In R. A. Berk(Ed.),Educational evaluation Methodology: The state of the art(p.151). Baltimore, MD: JoHn Hopkins University Press.
Stufflebeam, D.L.(1982). A Next Step:Discussion to consider unifying the ERS and joint committee standards., In P. H. Rossi(Eds.) Standards for Evaluation Practice. P, 30-31.
Stufflebeam, D.L.(1990). Professional Standards for Educational Evaluation. In H.J.Walberg, & G. D. Haertel(Eds.), The International Encyclopedia of Educational Evalution as reflected in metaevluaation,94-106. New York: Pergamon.
Stufflebeam, D.L.(2000a). The methodology of metaevluation as reflected in metaevluations by the Western Michigan University Educational Center. Journal of personal Evaluation In Education,14,1,95-125.
Stufflebeam, D.L.(2000b). Professional Standards and principals for evaluation. In D.L. Stufflebeam ,G.F.Mdaus,& T. Kellaghan.(Eds) Evaluation Models: Viewpoints on Educational and Human Services Evaluation(chapter 24). Boston: Kluwer Academic Publishers.
Stufflebeam, D.L.(2001). The metaevluation imperative. American Journal of Evaluation, 22(2),183-209.
Stufflebeam, D.L.,& Madaus,G.F., & Kellaghan, T.(2000). Evaluation Models: Viewpoints on Educational and Human Services Evaluation. (2nd ED)Boston: Kluwer Nijhoff.
Stufflebeam, D.L.,& Shinkfield,A. G.(1985). Systematic evaluation. Boston: Kluwer Nijhoff.
USDE(2003).Accreditation in the United States. Washington, DC: United State Department of Education.
Worthen, B. R.&,Sanders,J. R.(1987a). Educational evaluation: Alternative approaches and practical guidelines.NY: Longman.
Worthen, B. R.&,Sanders,J. R.(1987b). Educational evaluation: Evaluation contracts, and technical assistance. MA:Kluwer-Nijhoff Publishtion.
Worthen, B. R.,Sanders,J. R. & Fitzpatrick, J. L.(1997). Program evaluation: Alternative approaches and practical guidelines.(2nd ED). White plains, NY: Longman.
Scott, P. (1995). The meanings of mass higher education. Bristol, PA : Open University Press.
三、外文網站
http://www.aqf.edu.au/
http://www.auqa.com.au/
http://www.auqa.com.au/qualityaudit/qa/
http://www.chea.org/
http://www.chea.org/recognition/CHEA_Recognition_Policy_and_Procedures.pdf
http://www.dest.gov.au/
http://www.ed.gov/index.jhtml
http://ope.ed.gov/accreditation/
http://www.hefce.ac.uk/finance/assurance/
http://www.jabee.org/
http://www.mext.go.jp/a_menu/koutou/ninka/main3_a3.htm
http://www.niad.ac.jp/english/unive/basic/qa.htm
http://www.qaa.ac.uk/
http://www.rae.ac.uk/
http://www.vcaa.vic.edu.au/VET/Index.html