簡易檢索 / 詳目顯示

回結果列表
研究生： 鄧凱中
Teng, Kai-Chung
論文名稱： LSTM 法則應用於連續手勢辨識之研究──手勢辨識系統軟體與硬體於 FPGA 實作
Continuous Hand Gesture Recognition by LSTM──Development of Software and FPGA-Based Hardware Classification System
指導教授： 黃文吉
學位類別： 碩士
Master
系所名稱： 資訊工程學系
Department of Computer Science and Information Engineering
論文出版年： 2020
畢業學年度： 108
語文別： 中文
論文頁數： 46
中文關鍵詞： 類神經網路 、摺積類神經網路 、系統晶片設計
DOI URL： http://doi.org/10.6345/NTNU202000494
論文種類： 學術論文
相關次數： 點閱：306  下載：56 
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報

    • 本論文考量現實應用的方便性與實際應用，選擇現場可程式邏輯門陣列(Field Programmable Gate Array, FPGA)來硬體電路實現，並對電路運算單元參數化，以應變需求的變化。而演算法使用長短期記憶(Long Short-Term Memory,LSTM) [1]來訓練模型與手勢辨識。
    LSTM 作為設計電路之模型，跟傳統遞歸神經網路(Recurrent Neural Networks, RNN) [2]不同的是，RNN 同一時間點 t 的輸入都在同一層面，將上一層的輸出當作下一層的輸入，但時間點 t 產生的梯度在往後傳遞幾層後就消失為一大難題。而 LSTM 使用 Input Gate、Output Gate 與 Forget Gate 三個控制閘成功的解決時間軸上梯度消失的問題，因此選擇 LSTM 為本論文的演算法則。
    LSTM 模型以 Keras [3]平台來訓練與驗證，辨識率高達 98%。本論文的訓練與辨識資料庫使用擁有陀螺儀跟加速器的手機做為 Sensor 來收集手勢資料，並收集本實驗室多人的動作為資料庫，並對資料做圖形化來篩選優良的訓練資料。圖形或者影像辨識需要瞭解艱深且複雜的公式，還必須有能力編碼將公式實踐出來，對手勢的辨識如果使用傳統影像辨識的方法將會增加運算的時間、大量的運算資源消耗與記憶體儲存空間的需求。本論文分別使用手機陀螺儀與加速器的 X、Y、Z 軸數據為訓練資料，與傳統的影像辨識相比，差別為輸入資料每一筆的維度變成一維，節省硬體儲存資源與運算的複雜度。

    致謝 i 中文摘要 ii 目錄 iii 附表目錄 v 附圖目錄 vi 第一章 緒論1 1.1 研究背景與動機 1 1.2 研究目的與方法 3 1.3 全文架構 5 第二章、基礎理論及技術背景6 2.1 人工智慧介紹 6 2.2 類神經網路介紹 6 2.3 RECURRENT NEURAL NETWORK7 2.4 LONG SHORT-TERM MEMORY 8 2.5 KERAS 9 2.6 C 與 JAVA 程式語言 10 2.7 FPGA 11 第三章 手勢辨識軟體系統12 3.1 軟體系統介紹 12 3.1.1 HDF5 13 3.2 辨識軟體架構 13 3.2.1 C 語言 14 3.2.2 JAVA 16 第四章 手勢辨識硬體系統 17 4.1 硬體介紹 17 4.2 電路架構 17 4.2.1 Interface of Circuit 18 4.2.2 Matrix Operations and Fully Connected Computation Unit 18 4.2.3 Gate Values Computation Unit 19 4.2.4 Updating of State and Memory Cell Unit 23 第五章 實驗數據及分析 35 5.1 開發平台與實驗環境介紹 35 5.2 軟體手勢辨識結果 37 5.3 硬體資源消耗 42 第六章 結論 44 參考文獻 45

    [1] S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory," Neural Computation, pp. 1735-1780, 1997.
    [2] J. Schmidhuber, “Deep learning in neural networks: An overview,” Neural Networks, pp. 85-117, January 2015.
    [3] R. Neruda and P. Vidnerova, "Evolving keras architectures for sensor data analysis," IEEE Conferences, pp. 109 - 112, 2017.
    [4] A. Harris, H. True, Z. Hu, J. Cho, N. Fell and M. Sartipi, "Fall recognition using wearable technologies and machine learning algorithms," IEEE International Conference on Big Data (Big Data), pp. 3974-3976, 2016.
    [5] F. Chollet, “Keras Documentation,” [線上]. Available: https://keras.io/.
    [6] 洪維恩, Java 7 教學手冊, 旗標出版社, 2015.
    [7] 鄭羽伸, Verilog 數位電路設計-範例寶典, 儒林出版社, 2008.
    [8] 廖振瑋, “LSTM 法則應用於連續手勢辨識之研究──訓練系統軟體及辨識系統 FPGA 之實作,” 2018.
    [9] H. P. Gupta, H. S. Chudgar, S. Mukherjee, T. Dutta and K. Sharma, "A Continuous Hand Gestures Recognition Technique for Human-Machine Interaction Using Accelerometer and Gyroscope Sensors," IEEE SENSORS JOURNAL, pp. 6425-6432, 15 AUGUST 2016.
    [10] C. Lin, J. Wan, Y. Liang and Z. S. Li , "Large-Scale Isolated Gesture Recognition Using a Refined Fused Model Based on Masked Res-C3D Network and Skeleton LSTM," IEEE International Conference, pp. 52-58, 2018.
    [11] M. Milenkoski, K. Trivodaliev, S. Kalajdziski;, M. Jovanov; and R. B. Stojkoska, "Real Time human activity recognition on smartphones using LSTM networks,"IEEE Conferences, pp. 21-25, 2018.
    [12] H. W. Chen, Carlos Andrés Betancourt Baca and H. C. Tou, "LSTM-RNNs combined with scene information for human activity recognition," IEEE Conferences, pp. 1-6, 2017.

    下載圖示
    QR CODE