研究生: |
郭舒文 Kuo, Shu-wen |
---|---|
論文名稱: |
運用大型語言模型分析國小資優生獨立研究報告的參考文獻特徵 A Bibliometric Analysis of Independent Study Reports by Elementary Gifted Students Using Large Language Models |
指導教授: |
曾元顯
Tseng, Yuen-Hsien |
口試委員: |
曾元顯
Tseng, Yuen-Hsien 林頌堅 Lin, Sung-Chien 李乙明 Li, I-Ming |
口試日期: | 2024/01/26 |
學位類別: |
碩士 Master |
系所名稱: |
圖書資訊學研究所圖書資訊學數位學習碩士在職專班 Graduate Institute of Library and Information Studies_Online Continuing Education Master's Program of Library and Information Studies |
論文出版年: | 2024 |
畢業學年度: | 112 |
語文別: | 中文 |
論文頁數: | 70 |
中文關鍵詞: | 大型語言模型 、國小資優生 、獨立研究 、重複性比對 、參考文獻 |
英文關鍵詞: | Large Language Model, Elementary Gifted Students, Independent Study, Duplication Comparison, Bibliometric Analysis |
研究方法: | 文獻計量 |
DOI URL: | http://doi.org/10.6345/NTNU202400331 |
論文種類: | 學術論文 |
相關次數: | 點閱:114 下載:15 |
分享至: |
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
本研究旨在探討人工智慧大型語言模型在獨立研究參考文獻書目整理中的應用效果,並瞭解國小資優生獨立研究參考文獻的特徵。
研究利用科展比對工具系統進行3個直轄市1,627篇獨立研究報告進行文本重複性比對。運用GPT-4 整理7,022筆國小資優生獨立研究報告的參考文獻,進行參考文獻特徵計量分析。
研究結果如下:
一、GPT-4在進行參考文獻整理任務時,平均的F1分數可達0.9,具有較高的準確性。
二、國小資優生獨立研究報告之間的文本重複性不高,但學生沒有良好的文內引用習慣,可能會造成不當引用的誤會。
三、不同年度的獨立研究報告在參考文獻特徵顯示出參考資料來源受到時間的流行影響,目前最主要的參考文獻來源為網路資源。
四、各學科領域的獨立研究報告在參考文獻使用上呈現出差異性。人文類與設計與創作類的獨立研究報告使用最多參考文獻,並偏好使用書籍,自然類與數學類的獨立研究報告常使用科展報告。
五、得獎與未得獎的獨立研究報告在參考文獻的數量和來源上存在差異。前者參考文獻數量較多,且集中在書籍、期刊等具有權威性的資料來源。得獎報告的參考文獻使用會影響未來獨立研究的參考文獻使用。
This study investigates the effectiveness of large language models in organizing bibliographies for independent research and explores the characteristics of references used by gifted elementary school students in their independent studies.
Methods: The study utilized the Comparison System for NTSEC to conduct text duplication comparisons on 1,627 independent research reports from three cities. GPT-4 was then employed to extract bibliographic data from textual paragraphs in these reports, aiming to analyze the characteristics of references used by gifted ele-mentary students in their independent studies.
Results:
1. GPT-4 achieved an average F1 score of 0.9 in extracting bibliographic data from textual paragraphs, demonstrating high accuracy in reference pro-cessing.
2. The text duplication rate among the reports was low, but there was a lack of proper in-text citation habits, potentially leading to citation misunderstand-ings.
3. The choice of reference sources was influenced by contemporary trends, with online resources being the primary source.
4. Reference usage varied across different academic disciplines. Humanities and creative design reports used the most references, primarily books, while natu-ral sciences and mathematics reports frequently used science fair reports.
5. Award-winning reports used more references, mainly from authoritative sources like books and journals, potentially influencing reference choices in future independent study.
王玟淇、黃楷茹(2023)。國小資優學生在獨立研究課程中「社會參與」素養之展現。資優教育論壇,21(2),3-33。
吳敏綺(2022)。國小資優學生自然領域獨立研究技能量表之編製與檢驗(未出版碩士論文)。國立臺灣師範大學。
周倩(2022)。不當研究行為:抄襲與剽竊 [線上課程]。教育部臺灣學術倫理教育資源中心。https://ethics.moe.edu.tw。
侯雅齡、陳冠銘、蘇郁雅(2023)。國小資優教師獨立研究教學效能之研究。特殊教育發展期刊,76,21-33。https://doi.org/10.7034/DSE.202312_(76).0002
高健訓(2011)。高年級資優生與普通生之資訊素養及其相關因素之研究-以高雄市國小學童為例(未出版碩士論文)。國立屏東教育大學。
教育部(2008)。中華民國資優教育白皮書。教育部。
教育部(2014)。十二年國民基本教育課程綱要總綱。教育部。
教育部(2019)。十二年國民基本教育資賦優異相關之特殊需求領域課程綱要。
教育部國民及學前教育署(2023)。優質特教網:獨立研究。https://sencir.spc.ntnu.edu.tw/GoWeb/include/index.php?pageNum_content01=1&totalRows_content01=18&Page=3-7-3
許素甘(2007)。國小資優學生獨立研究學習歷程與成效之分析(未出版碩士論文)。國立臺灣師範大學。
連晉仁(2019)。國小資優學生獨立研究之成就目標導向與學習行為之研究(未出版碩士論文)。國立彰化師範大學。
郭靜姿(1993)。如何指導資優生進行獨立研究。資優教育季刊,206,5-15。
傅秀蘭(2013)。析論文獻探討在科展指導的角色。資優教育論壇,11,16-41。
馮芳菁(2004)。國小高年級資優生以網路進行獨立研究之現況調查研究(未出版碩士論文)。國立嘉義大學。
黃靜雯(2021)。探究系統思考及其在獨立研究歷程之運用。資優教育論壇,19(2),3-19。
楊平、黃冠綸、楊雪子、鄭淑文、周茜芸、曾元顯(2022)。科展作品比對系統建置與初步成果。科教館學刊,3,254-261。
臺灣研究誠信守則起草委員會(2020)。臺灣研究誠信守則。台灣聯合大學系統。https://drive.google.com/file/d/1rSa1ZTdfyjf8aD646ISOfnkUzs11CqeN/view。
鄭伊均(2023)。國民小學一般智能資優資源班教師十二年國教獨立研究課程設計與教學效能之研究(未出版碩士論文)。國立臺南大學。
鄭伊均、陳英豪(2022)。臺灣資優教育獨立研究主題之文獻回顧--以碩博士論文為例。特教園丁,37,27-38。
蕭偉智(2007)。影響資優生獨立研究方案成效因素之初探.資優教育季刊,104,28-36。
蕭菁慧(2014)。資優生應掌握之網路安全內涵分析之研究:以某國小高年級一般智能資優資源班為例(未出版碩士論文)。國立臺灣師範大學。
戴宥榛(2021)。國小資優班教師獨立研究課程實施現況與需求之研究(未出版碩士論文)。國立高雄師範大學。
戴宥榛、陳韻竹、陳振明(2021)。從十二年國民教育獨立研究課程學習表現探討獨立研究相關實徵研究成果。雲嘉特教期刊,33,18-25。
謝建全(2002)。資優教育獨立研究課程之評估。特殊教育學術研討會論文集,57-80。
謝建全(2016).資賦優異學生的獨立研究指導。載於王文科(主編),資賦優異教育概論(頁243-263)。五南。
謝傳崇、徐晨皓(2022)。Vosviewer的發展及其在教育研究上之應用。學校行政,141,149-166。https://doi.org/10.6423/hhhc.202209_(141).0007
Abilock, D. (2009). Guiding the gifted to honest work [Article]. Knowledge Quest, 37, 12+.
Appen. (2022). The State of AI and Machine Learning Report. Appen.
Brzustowicz, R. (2023). From ChatGPT to CatGPT: The Implications of Artificial Intelligence on Library Cataloging. Information Technology and Libraries, 42. https://doi.org/10.5860/ital.v42i3.16295
Chi, P.-S. (2016). Differing disciplinary citation concentration patterns of book and journal literature? Journal of Informetrics, 10(3), 814-829. https://doi.org/10.1016/j.joi.2016.05.005
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint. https://doi.org/10.48550/arXiv.1810.04805
Eaton, S. E. (2023). Artificial intelligence and academic integrity, post-plagiarism. University World News. https://www.universityworldnews.com/post.php?story=20230228133041549
Van Eck, N. J. & Waltman, L. (2023). VOSviewer Manual https://www.vosviewer.com/documentation/Manual_VOSviewer_1.6.19.pdf
Foltýnek, T., Meuschke, N., & Gipp, B. (2019). Academic Plagiarism Detection: A Systematic Literature Review. ACM Comput. Surv., 52(6), 1–42. https://doi.org/10.1145/3345317
Kara, N., Geçer, E., & Sahin, Ç. (2020). Social Media Habits through a New Media Literacy Perspective: A Case of Gifted Students. Online Submission, 6(3), 191-208.
Kumar, R., Eaton, S. E., Mindzak, M., & Morrison, R. (2023). Academic Integrity and Artificial Intelligence: An Overview. In S. E. Eaton (Ed.), Handbook of Academic Integrity (pp. 1-14). Springer Nature Singapore. https://doi.org/10.1007/978-981-287-079-7_153-1
Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H., & Neubig, G. (2023). Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. ACM Comput. Surv., 55(9), Article 195. https://doi.org/10.1145/3560815
Lund, B. D., & Wang, T. (2023). Chatting about ChatGPT: how may AI and GPT impact academia and libraries? Library Hi Tech News, 40(3), 26-29. https://doi.org/10.1108/LHTN-01-2023-0009
Nayak, P. (2019, 2019.10.25). Understanding searches better than ever before. Google. https://blog.google/products/search/search-language-understanding-bert/
OpenAI. (2023, Mar 14 version). ChatGPT [Large language model]. https://chat.openai.com/chat
Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., & Ray, A. (2022). Training language models to follow instructions with human feedback. Advances in neural information processing systems, 35, 27730-27744.
Peeters, R., & Bizer, C. (2023). Entity Matching using Large Language Models. https://doi.org/10.48550/arXiv.2310.11244
Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training.
Sheffield, C. C. (2007). Technology and the gifted adolescent: Higher order thinking, 21st century literacy, and the digital native. Meridian: A Middle School Computer Technologies Journal, 10(2), 1-5.
Siegle, D. (2004). The Merging of Literacy and Technology in the 21st Century: A Bonus for Gifted Education. Gifted Child Today, 27(2), 32-35. https://doi.org/10.4219/gct-2004-129
Tkaczyk, D., Collins, A., Sheridan, P., & Beel, J. (2018). Machine Learning vs. Rules and Out-of-the-Box vs. Retrained: An Evaluation of Open-Source Bibliographic Reference and Citation Parsers. In (pp. 99-108): ACM.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.
Zhang, Y., Warstadt, A., Li, H.-S., & Bowman, S. R. (2020). When do you need billions of words of pretraining data? arXiv preprint.https://doi.org/10.48550/arXiv.2011.04946