簡易檢索 / 詳目顯示

研究生: 黃暐傑
Huang, Wei-Chieh
論文名稱: 以FPGA實現二元化類神經網路及應用於手寫圖片辨識之研究
The implementation of BNN-based handwritten digit recognition systems based on FPGA
指導教授: 黃文吉
Hwang, Wen-Jyi
蔡榮宗
Tsai, Jung-Tsung
學位類別: 碩士
Master
系所名稱: 資訊工程學系
Department of Computer Science and Information Engineering
論文出版年: 2017
畢業學年度: 105
語文別: 中文
論文頁數: 68
中文關鍵詞: 類神經網路摺積神經網路二元化神經網路
DOI URL: https://doi.org/10.6345/NTNU202202944
論文種類: 學術論文
相關次數: 點閱:95下載:12
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 本論文是實作摺積類神經網路,並應用於手寫辨識。傳統摺積類神經網路的權重都是以實數表示,運算方式複雜。不論是在記憶體的使用或是運算子的資源消耗上分別會增加儲存與運算的負擔,此舉造成在FPGA上實作的困難。為了解決資源消耗的問題,本論文使用二元化類神經網路。最主要的核心概念是把權重簡化為二進制表示法,以及將運算子使用XNOR位元運算,最大的好處就是可以降低FPGA資源消耗。
    本論文以LeNet5模型為例,此模型中的C1、C3、C5、F6的權重佔用了FPGA許多的資源。二元化類神經網路使用Sign function把原本32bit 浮點數權重簡化為1bit二進位碼。由於所有的運算元都是以二進位碼表示,運算子即可使用XNOR位元運算,不需使用浮點數的加法器與乘法器。經由二元化類神經網路的法則至少可以減少百分之八十的資源消耗,不只減少了內建記憶體使用,也減少數學運算子與暫存器使用。
    在未來的應用中,不只可以放置在FPGA中,還可以放置在行動裝置或是穿戴式裝置中,來進行圖片辨識與語音辨識,對於科技的發展又前進了一大步。

    中文摘要 I 誌謝 II 目錄 III 附表目錄 IV 附圖目錄 V 第一章 緒論 1 1.1 研究背景 1 1.2 研究動機與目的 3 1.3 研究方法 5 1.4 全文架構 7 第二章 基礎理論及技術背景 8 2.1 類神經網路介紹 8 2.2 Convolutional Neural Network 10 2.3 Convolutional Neural Network演算法則 11 2.4 Binary Neural Network 17 第三章 系統架構 21 3.1 研究流程 21 3.2 電路架構 22 3.2.1 C1電路架構 23 3.2.2 S2電路架構 33 3.2.3 C3電路架構 40 3.2.4 C5 F6全連結層電路 49 3.2.5 pipeline延伸 55 第四章 實驗數據與效能分析 58 4.1 開發平台與實驗環境 58 4.2 實驗結果與效能分析 60 第五章 結論 67 參考文獻 68

    [1] M. Courbariaux, I. Hubara, D. Soudry, R. El-Yaniv, Y. Bengio,(2016) Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, arXiv:1602.02830
    [2] Y. LeCun, Y. Bengio and G. Hinton, (2015). Deep Learning, Nature.
    [3] Y. LeCun and Y. Bengio, (1995) Convolutional networks for images, speech, and time series. The handbook of brain theory and neural networks, Pages 255-258
    [4] S. Sun and J. Zambreno (2009). A Floating-point Accumulator for FPGA-based High Performance Computing Applications. In Proc. IEEE Int. Conf. on FieldProgrammable Tech.
    [5] A. Krizhevsky, I. Sutskever, and G. E. Hinton, (2012) Imagenet Classification with Deep Convolutional Neural Networks. Advances in Neural Inform. Processing Syst.
    [6] 王雅慶,(2016)以FPGA實現摺積神經網路及應用於人臉特徵辨識之研究,國立台灣師範大學碩士論文.
    [7] 紀凱文,(2016)摺積神經網路全連結層FPGA實現之研究,國立台灣師範大學碩士論文.
    [8] M. Courbariaux, Y. Bengio, JP. David (2015) Binaryconnect: Training deep neural networks with binary weights during propagations. Advances in Neural Information
    Processing Systems.

    下載圖示
    QR CODE