簡易檢索 / 詳目顯示

研究生: 吳佩珊
WU, Pei-Shan
論文名稱: 使用BERT-CNN進行Twitter 使用者之立場偵測
A BERT-CNN Model for Detecting User's Stance in Tweets
指導教授: 侯文娟
Hou, Wen-Juan
口試委員: 郭俊桔 方瓊瑤 侯文娟
Hou, Wen-Juan
口試日期: 2022/01/26
學位類別: 碩士
Master
系所名稱: 資訊工程學系
Department of Computer Science and Information Engineering
論文出版年: 2022
畢業學年度: 110
語文別: 中文
論文頁數: 51
中文關鍵詞: Twitter 分析立場偵測類神經網路深度學習
DOI URL: http://doi.org/10.6345/NTNU202200199
論文種類: 學術論文
相關次數: 點閱:133下載:30
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 在人們的文字表達敘述裡,「立場」可能包含正向或是負向的情緒用詞,贊成或反
    對的語氣,但這些特徵都無法直接與立場相關聯。人們可以利用支持一個對象或是說法
    來反對特定目標,也可以藉由反諷法,使得字面上不能直接了解真正所表達的意思,但
    真實意義正好與字面上相反。在本研究中,將已標記立場標籤、來自 Twitter 使用者所
    發表的推文(Tweet) 當作訓練資料,使用監督式學習的方式來訓練深度神經網路(Deep
    Neural Network)。
    本研究所使用的資料集來自於 2016 年舉辦的國際自然語言語意評測競賽(Semantic
    Evalution 2016, SemEval 2016)的Task 6 ,主辦單位所提供已標記立場的推文之訓練集與測試集,將其進行資料前處理並與類神經網路進行連接,其中使用到由Google 公司於
    2018年所提出之 BERT (Bidirectional Encoder Representations from Transformers)及卷積類神經網路(Convolutional Neural Network,CNN)。
    本研究針對SemEval 2016 Task 6中之子任務A進行實驗,使用監督式框架來偵測
    Twitter使用者的立場,評估方法採用F1分數,並與當年參加競賽之隊伍進行比較,本研
    究所使用之方法在數個項目中排名居前。主辦單位所提供之資料集僅有兩千多筆,因此
    在訓練模型的成效有一定限制,若是有更多的已標記之訓練集,應會獲得更好的成績。
    因此本研究再加入MPCHI資料集進行訓練,此資料集包含五個健康相關的主題,並已標
    計立場,並分別實驗測試集為SemEval、MPCHI以及SemEval加上MPCHI,觀察其實驗
    結果顯示有其幫助性,優於僅使用原始資料集之實驗結果。

    第一章 緒論 1 第一節 研究背景 1 第二節 研究目的 1 第三節 論文架構 2 第二章 文獻探討 3 第一節 SemEval 2016 Task6 3 第二節 近期相關 Twitter立場偵測之方法與成果 4 第三節 遷移學習(Transfer Learning) 6 第四節 卷積神經網路(Convolutional Neural Network, CNN) 7 第三章 研究步驟與方法 8 第一節 研究架構 8 第二節 原始資料前處理 9 (一) 去除標點符號及數字 10 (二) 去除使用者帳號(User ID) 10 (三) 去除超連結(Remove URL) 11 (四) 去除表情符號(Emoji) 11 (五) 去除主題標籤(Hashtag)之符號 12 (六) 資料不平衡處理 13 第三節 BERT簡介 15 第四節 使用BERT做詞嵌入 19 第五節 立場偵測模型架構 22 第四章 資料來源與評估方法 24 第一節 資料來源 24 第二節 評估方法 25 第五章 實驗結果與討論 29 第一節 實驗結果 29 (一) 無神論(Atheism,Ath) 31 (二) 氣候變化是一個真切的顧慮(Climate Change is a Real Concern,CC) 33 (三) 女權運動(Feminist Movement,FM) 35 (四) 希拉蕊·柯林頓(Hillary Clinton,HC) 37 (五) 墮胎合法化(Legalization of Abortion,LoA) 39 第二節 分析與討論 41 第三節 實驗結果(二) 43 第六章 結論與未來展望 49 參考文獻 51

    Bethard, S., Carpuat, M., Cer, D., Jurgens, D., Nakov, P., & Zesch, T. (2016, June).
    Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016). In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016).

    Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep
    Bidirectional Transformers for Language Understanding.

    Igarashi, I., Komatsu, H., Kobayashi, S., Okazaki, N., &Inui, K. (2016). Tohoku at
    SemEval-2016 Task 6: Feature-based Model versusConvolutional Neural Network for Stance Detection.

    Sen, A., Sinha, M., Mannarswamy, S., & Roy, S. (2018, January). Stance classification of
    multi-perspective consumer health information. In Proceedings of the ACM India Joint International Conference on Data Science and Management of Data (pp. 273-281).

    Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N.& Polosukhin,
    I. (2017) Attention is all you need. In Advances in neural information processing system (pp. 5998-6008).

    Vijayaraghavan, P., Sysoev, I., Vosoughi, S.,& Roy, D. (2016). DeepStance at SemEval2016 Task 6: Detecting Stance in Tweets Using Character and Word-Level CNNs.

    Wei, W., Zhang, X. (2018)., Liu, X., Chen, W., & Wang, T. (2016). pkudblab at SemEval2016 Task 6 : A Specific Convolutional Neural Network System for Effective Stance Detection.

    下載圖示
    QR CODE