簡易檢索 / 詳目顯示

研究生: 陳瑄易
Shyuan-Yi Chen
論文名稱: 具有有效特徵選取及歸屬函數最佳化機制之模糊分類器之設計及應用
Design and Applications of Fuzzy Classifier with Effective Feature Selection and Membership Function Optimization
指導教授: 洪欽銘
Hong, Chin-Ming
學位類別: 碩士
Master
系所名稱: 工業教育學系
Department of Industrial Education
論文出版年: 2006
畢業學年度: 95
語文別: 中文
論文頁數: 75
中文關鍵詞: 類神經-模糊網路分類特徵選取K-means演算法歸屬函數
英文關鍵詞: Neuro-Fuzzy Network Classifier, Classification, Feature Selection, K-means Algorithm, Membership Function
論文種類: 學術論文
相關次數: 點閱:158下載:18
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • ㄧ個可以解釋因果關係的分類系統,必須具備容易解釋語意的表示方式以及使用方便等特性。因此本研究建構於類神經-模糊網路之上,利用其模糊理論之可解釋性與類神經網路之學習能力對樣本進行訓練以期獲得一個優越的模糊分類器。其中對特徵選取以及歸屬函數最佳化均分別用了不同之方法進行試驗,同時提出如何利用K-means演算法獲得歸屬函數初始參數之方法,並提供一特徵選取方式,使所設計之模糊分類器可以用最低特徵考量達至最高推論精確度。
    為克服類神經-模糊網路分類器繁瑣之最佳化過程,本研究提出一個垂直合併型歸屬函數概念之快速圖形式模糊分類器,將原本模糊集合之歸屬度由值之水平移動進行歸屬度之計算方式,改由由各值之垂直移動對應模糊區間之計算方式,同樣可以藉由圖形化之概念進行可讀性之解釋,同時步驟簡易且具可解釋性,更重要的是大量減低歸屬函數之使用,且仍可保有相當高之準確率。而本研究所提出之演算法均經由實驗證明其可行性,並進行分析與討論。

    An efficient and simple decision support system must have the characteristics such as interpretable, easy understanding, convenient, et al. For this reason, the designed classifier in this study was based on a neuro-fuzzy network to combine the transparent characteristic of fuzzy system and learning ability of neural network. First, this study proposes a refined K-means algorithm and a gradient-based learning algorithm to logically determine and adaptively tuned the fuzzy membership functions for the employed neuro-fuzzy network. Moreover, this study also uses grey relational algorithm to perform feature selection and proposes a novel feature reduction algorithm to overcome the drawbacks of grey relational algorithm.
    Because optimized processes contain complex and long steps, this study proposes a Fast Graph Fuzzy Classifier (FGFC) which has a novel determining scheme of the membership function degree and can prevent to confront an abstruse classifier algorithm as well as keep the advantages of the traditional fuzzy systems. All of the above-mentioned methods were implemented and analyzed in this study.

    目 錄 謝誌 Ⅰ 中文摘要 Ⅱ 英文摘要 Ⅲ 目錄 Ⅳ 圖目錄 Ⅵ 表目錄 Ⅷ 第一章 緒 論 1 1.1 研究動機與背景 2 1.2 研究目的與方法 3 1.3 研究範圍與限制 3 1.4 研究步驟 4 第二章 類神經-模糊網路 7 2.1 網路之架構與操作方式 7 2.2 歸屬函數之建立 10 2.3 模糊規則之建構 11 第三章 類神經-模糊分類器之最佳化 15 3.1 歸屬函數最佳化 15 3.1.1 改良式K-means演算法 16 3.1.2 梯度修正演算法 17 3.2 特徵選取 20 3.2.1 灰色關聯度分析 21 3.2.2 特徵消除演算法 24 第四章 快速圖形式模糊分類器 27 4.1 發展之動機 27 4.2 分類器之特色與優勢 29 4.2.1 傳統歸屬函數 29 4.2.2 垂直合併式歸屬函數 31 4.3 模糊區間之制定 33 4.4 特徵權重計算方式 37 4.5 分類器之演算法 39 第五章 系統實驗與分析 42 5.1 資料蒐集 42 5.2 實驗目標 43 5.3 實驗結果 43 5.3.1 類神經-模糊網路分類器 44 5.3.2 快速圖形式模糊分類器 56 第六章 個人適性化教學平台之評估規則挖掘 60 6.1 系統架設之目標 60 6.2 系統架構 60 6.3 實驗結果 66 第七章 研究結果與建議 73 7.1 研究結果 73 7.1.1 類神經-模糊網路分類器 73 7.1.2 特徵選取 73 7.1.3 歸屬函數最佳化 74 7.1.4 快速圖形式模糊分類器 74 7.2 研究建議 74 圖 目 錄 圖1-1 研究流程圖 5 圖1-2 演算法設計圖 6 圖2-1 類神經-模糊網路架構(橢圓圓處表示模糊集共用) 9 圖2-2 使用K-means演算法獲得群聚中心 11 圖2-3 四層架構之類神經-模糊網路 14 圖3-1 最佳化方法 15 圖3-2 改良式K-means演算法之步距修正 17 圖3-3 歸屬函數之重疊現象 25 圖3-4 特徵消除演算法之主要精神 25 圖4-1 快速圖形式模糊分類器(FGFC) 28 圖4-2 模糊理論推論過程 30 圖4-3 傳統之歸屬函數圖 32 圖4-4 本研究提出之垂直合併式歸屬函數圖 32 圖4-5 以群聚中心點進行樣本過濾示意圖 35 圖4-6 類別○對應各特徵值之範圍 36 圖4-7 類別□對應各特徵值之範圍 36 圖4-8 類別△對應各特徵值之範圍 37 圖4-9 模糊區間類投票法進行特徵權重計算 39 圖5-1 使用K-means演算法所建構之歸屬函數圖形 45 圖5-2 使用Refined K-means演算法所建構之歸屬函數圖形 48 圖5-3 進行梯度修正後之歸屬函數圖形 50 圖5-4 模糊規則一之不同特徵搭配之效能 54 圖5-5 模糊規則二之不同特徵搭配之效能 54 圖5-6 類別1之模糊區間分佈 57 圖5-7 類別2之模糊區間分佈 58 圖6-1 個人適性化教學平台學習成效評量規則處理流程圖 61 圖6-2 學習者之學習介面 62 圖6-3 學習平台內之學習單元與學習課程 62 圖6-4 隨機問題回答介面 63 圖6-5 個人適性化教學平台討論區介面 63 圖6-6 使用改良型K-means演算法所獲得之歸屬函數 68 圖6-7 規則一之不同特徵搭配成效 70 圖6-8 規則二之不同特徵搭配成效 70 圖6-9 規則三之不同特徵搭配成效 71 表 目 錄 表4-1 模糊規則庫 31 表4-2 各群聚保留後之子樣本數量 35 表4-3 為例之特徵權重計算結果 39 表5-1 Wisconsin Breast Cancer資料庫 43 表5-2 使用K-means演算法所得之各群聚中心 45 表5-3 使用類神經-模糊網路分類器挖掘所有模糊規則 46 表5-4 使用類神經-模糊網路分類器所得最佳模糊規則 46 表5-5 NFNC#1之性能表現 47 表5-6 使用Refined K-means聚類演算法所得之各群聚中心 48 表5-7 NFNC#2之性能表現 49 表5-8 使用兩條模糊規則 49 表5-9 NFNC#4之性能表現 50 表5-10 各特徵與分類結果之灰色關聯度 51 表5-11 使用灰色關聯進行特徵選取後之模糊規則 51 表5-12 NFNC#8之性能表現 52 表5-13 不同訓練週期之特徵搭配方式 53 表5-14 各模糊規則表現最好之特徵搭配方式前六名 53 表5-15 使用特徵消除演算法進行特徵選取後之模糊規則 54 表5-16 NFNC#10之性能表現 55 表5-17 不同架構之性能表現 55 表5-18 WBC資料庫中訓練樣本各類別個數 56 表5-19 使用K-means聚類演算法所得之各群聚中心 56 表5-20 各特徵之模糊區間範圍 57 表5-21 類別1模糊區間內外數量以及權重 57 表5-22 類別2模糊區間內外數量以及權重 58 表5-23 各特徵之最終權重 58 表5-24 快速圖形式模糊分類器之準確率表現 59 表5-25 與其他論文之準確率比較 59 表6-1 學習率計算方式 64 表6-2 全部教材學習時間計算方式 64 表6-3 學習教材努力程度計算方式 66 表6-4 583名學生之學習日誌檔格式 66 表6-5 使用K-means演算法獲得各特徵群聚中心 67 表6-6 改良型K-means演算法各特徵修正步距 67 表6-7 使用改良型K-means演算法獲得各特徵群聚中心 67 表6-8 使用改良型K-means演算法獲得各特徵群聚中心 67 表6-9 使用類神經-模糊網路挖掘出學習成效評估模糊規則 68 表6-10 使用原始模糊規則所獲得之準確率 69 表6-11 所有考量特徵之不同組合方式 70 表6-12 具有最佳效能之前六名訓練週期 71 表6-13 精簡過後之模糊規則 72 表6-14 使用精簡模糊規則之準確率 72

    [1] R. Lee and J. Liu, “iJADE WeatherMAN: a weather forecasting system using intelligent multiagent-based fuzzy neuro network,” IEEE Trans. Sys. Man. Cyber., vol. 34, no. 3, pp.369-377, 2004
    [2] H. Li and D. Enke, “Forecasting series-based stock price data using direct reinforcement learning,” Proc. 2004 Int. Conf. neural networks, vol. 2, pp.1103-21108, 2004
    [3] C. Fredembach, M. Schroder, and S. Susstrunk, “Eigenregions for image classification,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 26, no. 12, pp.1645-1649, 2004
    [4] P. R. Innocent and R. I. John, “Computer aided fuzzy medical diagnosis,” Artif. Intell. Med., vol. 162, pp.81-104, 2004.
    [5] UCI(University of California, Irvine) Repository of Machine Learning Databases [on line].
    Available: http://www.ics.uci.edu/~mlearn/MLSummary.html
    [6] C. T. Lin and C. S. G. Lee, “Neural network based fuzzy logic control and decision system,” IEEE Trans. Computers, vol. 40, pp. 1320–1335, 1993.
    [7] R. P. Pedro and A. Dourado, “Interpretability and learning in neuro-fuzzy systems,” Fuzzy Sets and Systems, vol. 147, pp. 17-38, 2004
    [8] J. Shanahan, B.T. Thomas, M. Mirmehdi, M. Martin, N. Campbell, J. Baldwin, “A soft computing approach to road classification,” J. Intell. Robot. Systems vol.29, pp.349–387. 2000
    [9] D. Fuessel, R. Isermann, “Hierarchical motor diagnosis utilizing structural knowledge and a self-learning neuro-fuzzy scheme, ” IEEE Trans. Ind. Electron. vol. 47, pp.1070–1077, 2000.
    [10] E. Binaghi, I. Gallo, P. Madella, “A neural model for fuzzy Dempster–Shafer classifiers, ” Internat. J. Approx. Reason, vol.25, pp.89–121, 2000
    [11] H.R. Maier, T. Sayed, B.J. Lence, “Forecasting cyanobacterial concentrations using B-spline networks, ” J. Comput. Civil Eng, vol. 14, pp.183–189, 2000.
    [12] M.B. Gorzalczany, Z. Piasta, “Neuro-fuzzy approach versus rough-set inspired methodology for intelligent decision support,” Inform, vol.120, pp.45–68, 1999.
    [13] A. Stoica, “Learning eye-arm coordination using neural and fuzzy techniques, in: H.-N. Teodorescu,” Soft Computing in Human Related Sciences, pp. 37–66, 1999.
    [14] C.-T. Lin, “A neural fuzzy control scheme with structure and parameter learning, ” IEEE Trans. Fuzzy Sets and Systems, vol. 70, pp. 183-212, 1995
    [15] S. Osowski and T. H. Linh, “ECG beat recognition using fuzzy hybrid neural network,” IEEE Trans. Biomed. Eng. vol. 48, pp.1265-1271, 2001.
    [16] P. Mousavi, R. K. Ward, S. S. Fels, M. Sameti, and P. M. Lansdorp, “Feature analysis and centromere segmentation of human chromosome images using an iterative fuzzy algorithm,” IEEE Trans. Biomed. Eng. vol. 49, pp.363-371, 2002.
    [17] D. Nauck and R. Kruse, “Obtaining interpretable fuzzy classification rules from medical data,” Artif. Intell. Med., vol. 16, pp.149-169, 1999.
    [18] T. P. Hong and C. Y. Lee, “Induction of fuzzy rules and membership functions from training examples,” Fuzzy Sets and Sys., vol. 84, pp.33-47, 1996.
    [19] J. Valente and Oliveira, “Semantic Constraints for Membership Function Optimization network,” IEEE Trans. Sys. Man. Cyber., vol. 29, no. 1, pp.128-138, 1999
    [20] T. P. Hong and C. Y. Lee, “Induction of fuzzy rules and membership functions from training examples,” Fuzzy Sets and Sys., vol. 84, pp.33-47, 1996.
    [21] J. Valente and Oliveira, “Semantic Constraints for Membership Function Optimization network,” IEEE Trans. Sys. Man. Cyber., vol. 29, no. 1, pp.128-138, 1999
    [22] R. Mikut, J. Jakel and L. Groll, “Interpretability issues in data-based learning of fuzzy systems,” Fuzzy Sets and Systems, pp.179–197, 2005
    [23] Julong, D.,“Introduction to Grey System Theory”, The Journal of Grey System, 1, pp.1-24, 1989.
    [24] J. A. Roubos, M. Setnes, and A. Janos, “Learning fuzzy classification rules from labeled data,” Inform. Sci., vol. 150, pp.77-93, 2003.
    [25] H.M. Lee, C.M. Chen, T.M. Chen and Y.L. Jou, “An Efficient Fuzzy Classifier with Feature Selection Based on Fuzzy Entropy,” IEEE Trans. Sys. Man. Cyber., vol. 31, no. 3, pp.426-432, 2001
    [26] D. Chakraborty and N.R. Pal, “A neuro-Fuzzy Scheme for Simultaneous Feature Selection and Fuzzy Rule-Based Classification,” IEEE Trans. Neural Network., vol. 15 , pp. 110–123,2004
    [27] C. Xiaoguang and H. John “Evolutionary Design of a Fuzzy Classifier From Data,” IEEE Trans. Sys. Man. Cyber., vol. 34, no. 4, pp.1894-1906, 2004.
    [28] H. Ishibuchi and T. Yamamoto, “Effects of three-objective genetic rule selection on the generalization ability of fuzzy rule-based systems,” Proc. 2nd Int. Conf. Evolutionary Multi-Criterion Optimization, Faro, Portugal, Apr. 8–11, 2003, pp. 608–622.
    [29] J. S. Wang and G. C. S. Lee, “Self-adaptive neuro-fuzzy inference system for classification application,” IEEE Trans. Fuzzy Syst., vol. 10,pp. 790–802, Dec. 2002
    [30] Chih-Ming Chen, Hahn-Ming Lee and Ya-Hui Chen, “Personalized E-Learning System Using Item Response Theory,” Computers & Education, vol. 44, no. 3, pp. 237-255, 2005.
    [31] Chih-Ming Chen, Chao-Yu Liu and Mei-Hui Chang, “Personalized Curriculum Sequencing Using Modified Item Response Theory for Web-based Instruction,” Expert Systems with Applications, vol. 30, Issue 2, pp. 378-396, 2006.
    [32] Baker and Frank B., Item Response Theory: Parameter Estimation Techniques, New York: Marcel Dekker, 1992.

    QR CODE