簡易檢索 / 詳目顯示

研究生: 蘇旭琳
論文名稱: DIF分析在小樣本情境中的效果—以視障生和普通生在國中基測數學科之DIF為例
指導教授: 陳柏熹
學位類別: 碩士
Master
系所名稱: 教育心理與輔導學系
Department of Educational Psychology and Counseling
論文出版年: 2007
畢業學年度: 95
語文別: 中文
論文頁數: 134
中文關鍵詞: 小樣本視障生模擬研究DIFMH
英文關鍵詞: small sample size, visual impaired students, simulation study, DIF, MH
論文種類: 學術論文
相關次數: 點閱:181下載:58
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 本研究目的在於探討焦點組一百人的情況下偵測DIF的偵測效果,希望能了解增加參照組人數、調整能力分組組數等策略是否能提升偵測效果。本研究共分為三個部分,研究一和研究二為模擬研究,研究三為利用實證資料進行DIF分析。研究一的主要目的在於了解能力分組組數對於檢測效果的影響,依變項為DIF的正確偵測率和第一類型錯誤率。研究二的主要目的在於了解使用不同偵測DIF方法時調整樣本人數比例對於偵測效果的影響,依變項與研究一同。研究三參考研究一和研究二的結果對於九十四年和九十五年第一次國中基測數學科普通生和視障生的實際作答反應進行DIF分析。研究一結果顯示,在焦點組一百人且能力有差異的情況下,能力分組組數以兩組的結果最能夠兼顧正確偵測率和第一類型錯誤率,此組數即被研究二所採用。研究二結果顯示,在焦點組一百人的情況下,樣本人數比例和能力差異是影響偵測效果的主要因素;在焦點組五百人的情況下,方法和試題DIF比率是影響偵測效果的主要因素;若控制在能力有差異的情況下,對於焦點組人數較少(如一百人時)時採用MH-2搭配樣本人數100/1000(焦點組/參照組)的組合具有較佳效能,可以達到正確偵測率0.703、第一類型錯誤率0.073的結果。研究三結果顯示,九十四年和九十五年第一次國中基測數學科當中各有兩題、一題產生DIF,並對於可能原因進一步予以解釋。

    The purpose of the research is to explore the efficiency of DIF detection when the sample size of focal group is small.. There are three parts in the research; Study 1 and Study 2 are simulation studies and Study 3 is an empirical study. The aim of Study 1 is to examine the efficiency of DIF detection of different score group width. The dependent variables are power and Type 1 error. The aim of Study 2 is to examine the efficiency of DIF detection in different methods and sample size ratio of reference and focal group. The dependent variables are the same as Study 1. Study 3 is an empirical study for detecting the DIF item between visual impaired and general students of the basic competence test for junior high school students(BCTEST). The result of Study 1 suggest with two score group is better when focal group size is 100 and the ability distribution is unequal. The result of Study 2 suggest that the sample size ratio of reference and focal group and the difference of ability distribution affect the efficiency of DIF the most when focal group is 100. The method and DIF item percentage affect the efficiency of DIF the most when focal group is 500. When ability distribution is controlled unequal, MH-2 combined with 100/1000 can reach the DIF detecting power of 0.703 and type 1 error of 0.073. The result of Study 3 suggests there are two DIF items in 2005 BCTEST and one DIF item in 2006 BCTEST, and discussion about the reason of DIF is also provided in Study 3.

    目 錄 中文摘要 英文摘要 第一章 緒論 第一節 研究動機與目的………………………………………………………….1-5 第二節 研究問題…………………………………………………………………... 6 第三節 名詞釋義………………………………………………………………….7-8 第二章 文獻探討 第一節 差別試題功能(DIF)基本概念……………………………………….. 9-18 第二節 影響差別試題功能(DIF)偵測效果的相關研究……………………19-27 第三節 視障生的評量………………………………………………………….28-40 第三章 研究方法 第一節 研究架構和研究設計………………………………………………….41-46 第二節 研究程序………………………………………………….……………47-49 第三節 資料分析…………………………………………………………………..50 第四章 研究結果和討論 第一節 研究一…………………........................................................................51-55 第二節 研究二…………………………………………………………………56-83 第三節 研究三…………....................................................................................84-88 第五章 結論與建議 第一節 研究結論與建議………………….........................................................89-91 第二節 研究限制與未來方向………………………………………………….92-94 參考文獻 一、 中文資料…………………………………………………………………….95-96 二、 西文資料…………………………………………………………………...97-102 附錄 附錄A 國內視覺障礙之定義…………………………………………………….103 附錄B APA教育與心理測驗準則(1999)………………………………..104-106 附錄C 九十四、九十五年第一次國中基測數學科內容、型態分類結果…107-108 附錄D 研究二試題難度參數一覽表…………………………………………….109 附錄E 研究一偵測效果之原始資料………………………………………...…..110 附錄F MH-1 樣本人數100/100、100/500、100/1000之偵測效果…………..111 附錄G MH-1 樣本人數500/500、500/2500、500/5000之偵測效果………….112 附錄H MH-2 樣本人數100/100、100/500、100/1000之偵測效果…………..113 附錄I MH-2 樣本人數500/500、500/2500、500/5000之偵測效果………….114 附錄J MH-i 樣本人數100/100、100/500、100/1000時之偵測效果………….115 附錄K MH-i 樣本人數500/500、500/2500、500/5000時MHi之偵測效果…...116 附錄L 焦點組一百人 依變項為正確偵測率之各項單純主要效果摘要表 …………………………………………………………………………….117-119 附錄M 焦點組一百人 依變項為第一類型錯誤率之各項單純主要效果摘要表 ……...……………………………………………………………………..120-121 附錄N 焦點組五百人 依變項為正確偵測率之各項單純主要效果摘要表 …………………………………………………………………………….122-123 附錄O 焦點組五百人 依變項為第一類型錯誤率之各項單純主要效果摘要表 .……………………………………………………………………….…...124-125 附錄P 焦點組一百人 依變項為正確偵測率之各項單純主要效果摘要表(控制能力有差異時)…………………………………………………………………..126 附錄 Q 焦點組一百人 依變項為第一類型錯誤率之各項單純主要效果摘要(控制能力有差異時)………………………………………………………..127-128 附錄R 本研究之程式碼……………………………………………………..129-134 附表目次 表2-1-1 第k個試題、第j個區間內參照組和焦點組表現之列聯表…………….13 表2-1-2 第k個試題、第j個區間內參照組和焦點組表現之百分比列聯表............14 表2-3-1 盲童的物體恆存概念發展歷程……………….…………………………..31 表2-3-2 盲生的空間概念…………………………………………………………...32 表3-1-1研究架構一覽表……………………………………………………………41 表3-1-2 九十四年、九十五年第一次國中基測數學科分類題數統計表…………45 表3-1-3 九十四年、九十五年第一次國中基測數學科的考生作答反應描述統計資料摘要..................................................................................................................46 表3-2-1 研究一試題參數一覽表…………………………………………………...47 表3-2-2 研究一能力差異設定值…………………………………………………...48 表4-2-1 MH-1:焦點組一百人、各變項影響偵測效果情形……………………...57 表4-2-2 MH-1:焦點組五百人、各變項影響偵測效果情形………………………59 表4-2-3 MH-2:焦點組一百人、各變項影響偵測效果情形………………………61 表4-2-4 MH-2:焦點組五百人、各變項影響偵測效果情形………………………63 表4-2-5 MH-i:焦點組一百人、各變項影響偵測效果情形………………………65 表4-2-6 MH-i:焦點組五百人、各變項影響偵測效果情形………………………66 表4-2-7 焦點組一百人之變異數分析摘要表(依變項為正確偵測率)…………69 表4-2-8 焦點組一百人之變異數分析摘要表(依變項為第一類型錯誤率)……71 表4-2-9焦點組一百人:樣本人數比例╳能力差異之偵測效果各細格平均數…72 表4-2-10 焦點組五百人之變異數分析摘要表(依變項為正確偵測率)……….74 表4-2-11 焦點組五百人之變異數分析摘要表(依變項為第一類型錯誤率)…..76 表4-2-12 焦點組五百人:方法╳試題DIF比率之偵測效果各細格平均數……..77 表4-2-13 焦點組一百人之變異數分析摘要表(依變項為正確偵測率)……….79 表4-2-14 焦點組一百人:方法╳樣本人數各細格平均數(依變項為正確偵測率) …………………………………………………………………………………..79 表4-2-15 焦點組一百人之變異數分析摘要表(依變項為第一類型錯誤率)….81 表4-2-16 焦點組一百人:方法╳樣本人數比例各細格平均數(依變項為第一類型錯誤率)………………………………………………………………………81 表4-3-1九十四、九十五年第一次國中基測數學科視障生和普通生產生DIF題目………………………………………………………………………………..85 附圖目次 圖4-1-1 試題長度30題、能力無差異時 各分組組數之正確偵測率……………52 圖4-1-2 試題長度30題、能力有差異時 各分組組數之正確偵測率……………52 圖4-1-3 試題長度30題、能力無差異時 各分組組數之第一類型錯誤率………52 圖4-1-4 試題長度30題、能力有差異時 各分組組數之第一類型錯誤率………52 圖4-1-5 試題長度60題、能力無差異時 各分組組數之正確偵測率……………54 圖4-1-6 試題長度60題、能力有差異時 各分組組數之正確偵測率……………54 圖4-1-7 試題長度60題、能力無差異時 各分組組數之第一類型錯誤率………54 圖4-1-8 試題長度60題、能力有差異時 各分組組數之第一類型錯誤率………54 圖 4-2-1焦點組一百人:樣本人數比例╳能力差異之正確偵測率各細格平均數折線圖…………………………………………………………………………………..72 圖4-2-2 焦點組一百人:樣本人數比例╳能力差異之第一類型錯誤率各細格平均數折線圖……………………………………………………………………………..72 圖 4-2-3焦點組五百人:方法╳試題DIF比率之正確偵測率各細格平均數折線圖 ………………………………………………………………………………………..77 圖4-2-4 焦點組五百人:方法╳試題DIF比率之第一類型錯誤率各細格平均數折線圖…………………………………………………………………………………..77 圖4-2-5 焦點組一百人:方法╳樣本人數各細格平均數折線圖(依變項為正確偵測率)…………………………………………………………………………………79 圖4-2-6焦點組一百人:方法╳樣本人數比例各細格平均數折線圖(依變項為第一類型錯誤率)………………………………………………………………………81

    參考文獻
    一、中文資料
    大學入學考試中心(民90)。學科能力測驗試題差別功能分析。台北:大學入學考試中心。
    大學入學考試中心(民94)。九十至九十三學年度學科能力測驗、指定科目考
    試試題差別功能檢核計畫。台北:大學入學考試中心。
    王文科主編(民86)。特殊教育導論。台北:心理。
    王亦榮、杞昭安(民88)。特殊兒童鑑定與評量。台北:師大書苑。
    王保進(民88)。視窗版SPSS與行為科學研究。台北:心理。
    台南視障教育與重建中心(民96)。九十四學年度十二年就學安置。台南視障教育與重建中心網站。http://www2.nutn.edu.tw/vhc/。檢索日期。民96.02.15。
    何世芸主編(民90)。視障學生教學法。台北:師大書苑。
    何華國(民84)。特殊兒童心理與教育。台北:五南。
    余民寧(民82)。試題反應理論的介紹(十三)—試題偏差的診斷。研習資訊,10卷,6期,7-11頁。
    余明寧、謝進昌(民95)。國中基本學力測驗之DIF的實徵分析:以91年度兩次測驗為例。國立高雄師範大學教育學系教育學刊,26期,241-276頁。
    杞昭安(民88)。視覺障礙學生圖形認知能力之研究。特殊教育研究學刊,17期,139-161頁。
    林坤昌(民87)。DIF檢定方法之探討與比較。國立臺中師範學院國民教育研究所碩士論文。
    林明弘(民88)。從面積觀點檢定DIF試題之存在。國立彰化師範大學數學系研究所碩士論文。
    金崇華(民89)。小兒弱視。台北:書泉。
    張玉燕(民86)。教學媒體。台北:五南。

    張自(民82)。視障教育理論與實際。台北:臺北市立啟明學校。
    陳明終(民84)。能力測驗試題偏誤之研究。國立台灣師範大學教育心理與輔導研究所博士論文。
    陳林義(民82)。兒童弱視的診斷與防治。台北:渡假。
    陳英三(民84)。特殊兒童教材教法—數學篇。台北:五南。
    陳蓓蓉(民92)。探討全盲生處理國中基測數學題表現的外在因素及內在因素。國立台灣師範大學科學教育研究所碩士論文。
    萬明美(民85)。視覺障礙教育。台北:五南。
    萬明美(民90)。視障教育。台北:五南。
    葉娜慧(民94)。高市/視障生入學 統一以基測為主。東森新聞報網站。http://www.ettoday.com/2005/01/26/124-1746787.htm。檢索日期。民95.06.20。
    劉信雄、王亦榮、林慶仁(民89)。視覺障礙學生輔導手冊。台北:教育部。
    鄭靜瑩(民94)。國小視覺障礙學生數學能力及其相關因素之研究。國立台灣師範大學特殊教育研究所博士論文。
    盧雪梅(民89)。Mantel-Haenszel DIF程序之第一類錯誤率和DIF嚴重度分類結果研究。中國測驗學會測驗年刊,47卷,1期,57-71頁。
    簡茂發、劉湘川、許天維、郭伯臣、殷志文(民84)。以Mantel-Haenszel法檢定試題區別功能之相關因素探討。中國測驗學會測驗年刊,42輯,85-102頁。
    蘇雅蕙(民90)。多分題差異試題功能之檢定。國立中正大學心理學研究所碩士論文。

    二、西文資料
    American Educational Research Association, American Psychological Association, National Council on Measurement in Education(AERA, APA, NCME)(1999). Standards for educational and psychological testing. Washington, DC:American Educational Research Association, American Psychological Association, National Council on Measurement in Education.
    Angoff, W. H. (1993). Perspectives on Differential Item Functioning Methodology. In P. W. Holland & H. Wainer (Eds.), Differential Item Functioning (pp. 3-23). Hillsdale, NJ: Lawrence Erlbaum.
    Barraga, N. C., & Erin, J. N. (1992). Visual handicaps and learning. Austin, Tex.
    Bradley, J. V. (1978). Robustness? The British Journal of Mathematical & Statistical
    Psychology, 31, 144-152.
    Cahill, H., Linehan, C., McCarthy, J., Bormans , G., & Engelen, J. (1996). Blind and partially sighted student’s access to mathematics and computer technology in Ireland and Belgium. Journal of Visual Impairment & Blindness, 90, 175-181.
    Camilli, G., & Shepard L. A. (1994). Methods for identifying biased test items. Thousand Oaks: Sage Publications.
    Clauser, B., Mazor, K. M., & Hambleton, R. K. (1993). The effects of Purification of the Matching Criterion on the Identification of DIF Using the Mantel-Haenzel Procedure. Applied Measurement in Education, 6(4), 269-279.
    Clauser, B., Mazor, K. M. & Hambleton, R. K. (1994). The effects of score group
    width on the Mantel-Haenszel procedure. Journal of Educational Measurement, 31, 67-78.
    Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Lawrence Erlbaum.
    Educational Testing Service (2007). What's the DIF? Helping to ensure test question fairness. Retrieved August 24, 2006, from Educational Testing Service Web site: http://www.ets.org/portal/site/ets/menuitem.3a88fea28f42ada7c6ce5a10c3921509/?vgnextoid=85b65784623f4010VgnVCM10000022f95190RCRD.
    Fidalgo, A. M. (1994). MHDIF: A computer program for detecting uniform and
    nonuniform differential item functioning with the Mantel-Haenszel procedure.
    Applied Psychological Measurement, 18, 300. (Available: http://www.psico.uniovi.es/Fac_Psicologia/w3doc/disenyos_aplicados/avanzado.html#programas)
    Fidalgo, A. M., Ferreres, D., & Muñiz, J. (2004). Utility of the Mantel–Haenszel procedures for detecting differential item functioning in small samples. Educational and Psychological Measurement, 64(6), 925-936.
    Fidalgo, A. M., Mellenbergh, G. J., & Muñiz, J. (2000). Effects of amount of DIF, test length, and purification type on robustness and power of Mantel–Haenszel procedures. Methods of Psychological Research, 5(3), 43–53.
    Finch, H. (2005).The MIMIC Model as a Method for Detecting DIF: Comparison with Mantel-Haenszel, SIBTEST, and the IRT Likelihood Ratio. Applied Psychological Measurement, 29(4), 278–295.
    Geraldine, M. & Braswell, J. (1994, April). SAT Ι test development procedures for students with disabilities. Paper presented at the Annual Meeting of National Council on Mearement in Education, New Orleans, LA.
    Gierl, M. J., Jodoin, M. G., & Ackerman, T. A. (2000, April). Performance of Mantel-Haenszel, simultaneous item bias test, and logistic regression when the proportion of DIF items is large. Paper presented at the Annual Meeting of the American Educational Research Association (AERA), New Orleans, Louisiana.
    Hidalgo, M. D., & López-pina, J. A. (2004). Differential Item Functioning Detection and Effect Size: A Comparison between Logistic Regression and Mantel-Haenszel Procedures. Educational and Psychological Measurement, 64(6), 903-915.
    Hills, J. R.(1989). Screening for Potentially Biased Items in Testing Programs. Educational Measurement: Issues and practice, 5-11.
    Holland, W. P., & Thayer, D. T. (1988). Differential item performance and the Mantel-Haenszel procedure. In H. Wainer & H. I. Braun (Eds.), Test validity (pp.129-145). Hillsdale, NJ: Erlbaum.
    Lai, J. S., Teresi, J., & Gershon, R.(2005). Procedures for the Analysis of differential item functioning (DIF)for small sample sizes. Evaluation & the Health Professions, 28(3), 283-294.
    Lord, F. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum Associates.
    Mazor, K. M., Clauser, B. E., & Hambleton, R. K. (1992). The Effect of Sample Size on the Functioning of the Mantel-Haenszel. Statistic. Educational and
    Psychological Measurement, 52, 443-451.
    Mantel, N., & Haenszel, W. (1959). Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the National Cancer Institute, 22, 719–748.
    Mellenberg, G. J. (1982). Contingency table models for assessing item bias. Journal of Educational Statistics, 7, 105-108.
    Miller, M. D., & Oshima, T. C. (1992). Effect of sample size, number of biased items, and magnitude of bias on a two-stage item bias estimation method. Applied Psychological Measurement, 16, 381–388.
    Muniz, J., Hambleton, R. K., & Xing, D.(2001). Small Sample Studies to Detect Flaws in Item Translations. International Journal of Testing, 1(2), 115-135.
    Muthen, B. (1989). Latent variable modeling in heterogeneous populations. Psychometrika, 54, 557-585.
    Narayanan, P., & Swaminathan, H. (1994). Performance of the Mantel-Haenszel and simultaneous item bias procedures for detecting differential item functioning. Applied Psychological Measurement, 18, 315-338.
    Parshall, C. G., & Miller T. R. (1995). Exact Versus Asymptotic Mantel-Haenszel DIF Statistics: A Comparison of Performance Under Small-Sample Conditions. Journal of Educational Measurement, 32(3), 302-316.
    Raju, N. S. (1988). The area between two item characteristic curves. Psychometrika, 53, 495-502.
    Raju, N. S., Bode, R. K., & Larsen, V. S. (1989). An empirical analysis of the Mantel-Haenszel statistic for studying differential item performance .Applied Measurement in Education, 2, 1-13.
    Rogers, H. J., & Swaminathan, H. (1993). A comparison of logistic regression and Mantel–Haenszel procedures for detecting differential item functioning. Applied Psychological Measurement, 17, 105–116.
    Roussos, L. A., & Stout, W. F.(1996):Simulation Studies of the Effects of Small Sample Size and Studied Item Parameters on SIBTEST and Mantel-Haenszel Type I Error Performance. Journal of Educational Measurement, 33(2), 215-230.
    Shealy, R., & Stout, W. F. (1993). A model-based standardization approach that separates true bias/DIF from group differences and detects test bias/DIF as well as item bias/DIF. Psychometrika, 58, 159-194.
    Su, Y.-H,. Shih, C.-L., & Wang , W.-C.(2006). Locating DIF-Free Items to Serve as Anchors for Detection of Differential Item Functioning. 中國測驗學會舉辦主辦「海峽兩岸心理與教育測驗學術研討會」宣讀之論文(台北)。
    Swaminathan, H., Rogers, H. J.(1990). Detecting Diferential Item Functioning Using Logistic Regression Procedures. Journal of Educational Measurement, 27(4), 361-370.
    Tang, H.(1994, January). A new IRT-Based small sample DIF method. Paper presented at the Annual Meeting of the Southwest Educational Research Association, San Antonio, TX.
    Thissen, D., Steinberg, L., & Wainer, H. (1988). Use of item response theory in the study of group differences in trace lines. In H. Wainer & H. Braun (Eds.), Test validity (pp. 147-169). Hillsdale, NJ: Erlbaum.
    Uttaro, T. & Millsap, R. E. (1994). Factors influencing the Mantel-Haenszel
    procedure in the detection of differential item functioning. Applied Psychological
    Measurement, 18, 15-25.
    Van Der Flier, H., Mellenbergh, G.J., Adèr, H.J. & Wijn, M. (1984). An iterative
    item bias detection method. Journal of Educational Measurement, 21, 131-145.
    Waller, N. (1998). EZDIF: EZManual. Psychometrics/QuantitativeMethods Program in the Department of Psychology at the University of Minnesota. Available:
    http://www.psych.umn.edu/faculty/waller/downloads.htm.
    Wan, M. M.,& Tait, P. (1987).The attainment of conservation by visually impaired in children in Taiwan. Journal of visual Impairment & Blindness, 81(9), 409-428.
    Wang, W.-C., & Su, Y.-H. (2004). Effects of average signed area between two item characteristic curves and test purification procedures on the DIF detection via the Mantel-Haenszel method. Applied Measurement in Education, 17, 113-144.
    Warren, D. H.(1994). Blindness and children:an indivisual differences approach. U.S.A:Cambridge University Press.
    Webster, A., & Roe, J. (1998). Children with visual impairment : social interaction, language and learning. New York , London: Routledge.
    Wu, M. L., Adams, R. J., & Wilson, M. R.(1998). Acer ConQuest. Melbourne, Victoria, Australian Council for Educational Research press.
    Zieky, M. (1993). Practical questions in the use of DIF statistics in test development. InW. P. Holland & H. Wainer (Eds.), Differential item functioning (pp. 337-347). Hillsdale, NJ: Lawrence Erlbaum.
    Zwick, R. (1990). When do item response function and ManteI-Haenszel definitions of differential item functioning coincide? Journal of Educational Statistics, 15, 183-197.

    QR CODE