簡易檢索 / 詳目顯示

研究生: 王愷薇
Wang, Kai-Wei
論文名稱: 以BNN與AlexNet為基礎適用於CIFAR10圖形辨識之積體電路架構設計
A BNN and AlexNet Based VLSI Architecture for CIFAR10 Pattern Recognition Dataset
指導教授: 黃文吉
Hwang, Wen-Jyi
學位類別: 碩士
Master
系所名稱: 資訊工程學系
Department of Computer Science and Information Engineering
論文出版年: 2017
畢業學年度: 106
語文別: 中文
論文頁數: 59
中文關鍵詞: 機器學習深度學習類神經網路摺積類神經網路二元化類神經網路系統晶片設計
英文關鍵詞: BNN, AlexNet, CIFAR10, AI on Chip
DOI URL: http://doi.org/10.6345/THE.NTNU.DCSIE.001.2018.B02
論文種類: 學術論文
相關次數: 點閱:270下載:52
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 本論文以FPGA實作AlexNet摺積類神經網路模型之硬體電路架構,並以CIFAR10全彩圖像資料庫作為圖像辨識數據,設計適用於該資料庫的圖形辨識電路架構,傳統的摺積類神經網路以浮點數形式存取運算所用到的相關參數,同時運算方式較為複雜,這種模式不僅會增加記憶體的存取資源消耗,也會造成運算的負擔。本論文將二元化類神經網路技術結合至電路設計中,其最主要的核心概念是將權重及運算結果透過二元化相關演算法簡化為二進制表示法,並使用XNOR做位元運算,此作法不僅能降低FPGA資源消耗,同時也能提升運算效率。
    本論文選用AlexNet作為設計電路之模型,AlexNet對於全彩圖像的辨識結果優於LeNet5,而AlexNet相較於其他結構複雜的摺積類神經網路模型更適合實作於硬體電路,雖然AlexNet所使用的參數較多,以原始32bit 浮點數存取權重確實在硬體上難以實現,但利用二元化類神經網路便可將權重簡化至1bit二進位碼,而運算子則不需要使用到浮點數的加法器與乘法器,這不單是降低內建記憶體及暫存器資源使用,更提升存取記憶體的效能。
    依據實驗結果,本論文所提出之硬體架構相較於近期相關研究有低面積資源消耗之優點,且辨識精確度不亞於其他研究架構,對於現今人工智慧晶片發展領域,本論文所提出之硬體架構著實具有競爭價值。

    中文摘要 i 致謝 ii 目錄 iii 附表目錄 iv 附圖目錄 v 第一章 緒論 1  第一節 研究背景與動機 1  第二節 研究目的與方法 4  第三節 全文架構  6 第二章 基礎理論及技術背景 7  第一節 類神經網路介紹 7  第二節 CONVOLUTIONAL NEURAL NETWORK 10  第三節 CONVOLUTIONAL NEURAL NETWORK演算法則 11  第四節 ALEXNET MODEL 14  第五節 BINARY NEURAL NETWORK 16 第三章 系統架構 19  第一節 研究流程 19  第二節 電路架構 20  第一項 C1電路架構 22  第二項 C2電路架構 28  第三項 S2電路架構 32  第四項 Fully connected電路架構 38 第四章 實驗數據與效能分析 44  第一節 開發平台與實驗環境 44  第二節 實驗結果與效能分析 48 第五章 結論 58 參考文獻 59

    [1] The CIFAR-10 dataset, Available online: https://www.cs.toronto.edu/~kriz/cifar.html
    [2] M. Courbariaux, I. Hubara, D.l Soudry, R. El-Yaniv, Y. Bengio,Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, arXiv:1602.02830, 2016.
    [3] A. Krizhevsky, I. Sutskever, G. E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, In Proc. NIPS, pp. 1097-1105, 2012.
    [4] S. Ioffe, C.Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Advances in International Conference on Machine Learning, 2015.
    [5] 王雅慶,以FPGA實現摺積神經網路及應用於人臉特徵辨識之研究,國立台灣師範大學碩士論文, 2016.
    [6] 紀凱文,摺積神經網路全連結層FPGA實現之研究,國立台灣師範大學碩士論文, 2016.
    [7] 黃暐傑,以FPGA實現二元化類神經網路及應用於手寫圖片辨識之研究,國立台灣師範大學碩士論文, 2017.
    [8] kuangliu, Train CIFAR10 with PyTorch, Available online: https://github.com/kuangliu/pytorch-cifar
    [9] Y. Umuroglu, N. J. Fraser, G. Gambardella, M. Blott, P. Leong, M. Jahre, K. Vissers, FINN: A Framework for Fast, Scalable Binarized Neural Network Inference, arXiv:1612.07119, ‎2016.
    [10] R. Zhao, W. Song, W. Zhang, T. Xing, J. Lin, M. Srivastava, R. Gupta, and Z. Zhang, Accelerating Binarized Convolutional Neural Networks with Software-Programmable FPGAs, Proceedings of the 2017 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, pp. 15-24, 2017.
    [11] Y. Zhou; S. Redkar; X. Huang, Deep Learning Binary Neural Network on an FPGA, 2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS), pp. 281 - 284, 2017.
    [12] J.H. Lin, T.Xing, R. Zhao, Z. Zhang, M. Srivastava, Z. Tu, R. K. Gupta, Binarized Convolutional Neural Networks with Separable Filters for Efficient Hardware Acceleration, 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 344 - 352, 2017.

    下載圖示
    QR CODE