簡易檢索 / 詳目顯示

研究生: 鄔誌仁
Zhi-Ren Wu
論文名稱: 膚色偵測器應用於即時臉部擷取系統
A Real-time Face Extraction System based on a Skin Color Detector
指導教授: 葉榮木
Yeh, Zong-Mu
蔡俊明
Tsai, Chun-Ming
學位類別: 碩士
Master
系所名稱: 機電工程學系
Department of Mechatronic Engineering
論文出版年: 2007
畢業學年度: 95
語文別: 中文
論文頁數: 81
中文關鍵詞: 人臉偵測特徵擷取光線補償k-means演算法主成分分析法主軸k-means演算法
英文關鍵詞: Face Detection, Feature Extraction, Lighting Compensation, K-means Algorithm, Principle Component Analysis, Principle Axis K-means Algorithm
論文種類: 學術論文
相關次數: 點閱:153下載:5
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 人臉偵測系統在人臉辨識、人機介面裝置以及影像監視器的應用上扮演非常重要的角色。本篇論文提出一套針對不同亮度做補償之膚色偵測器,由於膚色極容易受光線影響,因此,必須做一些適當的光線補償。首先,本篇先對輸入影像做光線補償來做亮度校正。隨後,我們利用訓練出的CbCr值來做膚色分割。在訓練過程中,採用「主軸k-means」演算法將膚色訓練資料做分群處理。在特徵擷取部分,利用眼睛、嘴巴,以及比較少見的頭髮等三個特徵來定義人臉區域。實驗結果顯示出,本篇論文所提出的方法已改善光線所產生的問題,而且系統可以即時工作,在膚色偵測率高達95.02%;針對較複雜背景情況的靜態人臉偵測率高達91.67%;動態人臉偵測率高達97.78%。在此,我們主要是針對正臉以及接近正臉的人臉來做實驗,對於背景太複雜的情形下,仍然有偵測不到的現象。

    Human face detection plays an important role in applications such as face recognition, human computer interface, and video surveillance. In this paper, we proposed a skin color detector for lighting compensation. Because skin color always suffers from illumination, lighting compensation method is used to improve the skin color detection. First, we use lighting compensation algorithm for lighting calibration and perform skin segmentation using thresholds of Cb and Cr by training. Second, in training phase, we utilize principle axis k-means algorithm to cluster training data. Finally, in feature extraction phase, we use hairs, mouth and eyes to help to locate faces. Experimental results show that proposed method has good performance. In the static skin segmentation experiments, the detection rate is as high as 95.02%, the static face detection rate is as high as 91.67%. For dynamic face detection, the detection rate on front or near front faces can achieve up to 97.78%. However, our model also can’t perform on extremely complex background well.

    目錄 致謝 I 摘要 II Abstract III 目錄 IV 圖目錄 VII 表目錄 X 第一章 緒論 1 1.1 研究背景 1 1.2 研究動機與目的 2 1.3 本文所提之方法 3 1.4 本文的組織架構 4 第二章 基礎理論與文獻回顧 6 2.1 色彩空間 6 2.1.1 RGB與正規化RGB 6 2.1.2 HSV色彩空間 8 2.1.3 YCbCr色彩空間 10 2.2 雜訊去除 12 2.2.1 低通濾波器 12 2.2.2 中值濾波器 13 2.3 形態學運算 14 2.3.1 侵蝕與擴張 15 2.3.2 斷開與閉合 16 2.4 直方圖等化 18 2.5 人臉偵測相關研究 20 2.5.1 針對膚色或光線的相關研究 20 2.5.2 針對人臉旋轉角度之研究 23 2.5.3 針對其他主題之研究 27 第三章 膚色偵測器 28 3.1 光線補償法 28 3.2 膚色門檻值訓練階段 31 3.2.1 k-means分群法 33 3.2.2 主成分分析法(PCA) 35 3.2.3 主軸k-means分群法 39 3.3 膚色門檻值測試階段 41 3.4 人臉候選區的取得 41 第四章 人臉定位及驗證 46 4.1 臉部特徵擷取-頭髮 50 4.2 臉部特徵擷取-嘴唇 52 4.3 臉部特徵擷取-眼睛 55 4.4 幾何判斷 57 4.5 候選區變異度的範圍界定 58 第五章 實驗結果與討論 62 5.1 主軸k-means演算法之性能評估 62 5.1.1 實驗結果 62 5.1.2 實驗討論 63 5.2 靜態膚色偵測實驗 64 5.2.1 實驗結果 64 5.2.2 實驗討論 68 5.3 動態人臉偵測實驗 71 5.3.1 實驗結果 71 5.3.2 實驗討論 71 第六章 結論及未來展望 78 參考文獻 79 圖目錄 圖1.1 系統大體架構流程圖 4 圖2.1 RGB與正規化RGB示意圖 7 圖2.2 正規化RGB的膚色分割結果 8 圖2.3 HSV色彩空間 8 圖2.4 HSV色彩空間做膚色分割之結果 10 圖2.5 YCbCr色彩空間做膚色分割之結果 11 圖2.6 RGB轉灰階圖片之示意圖 12 圖2.7 經過低通濾波器(遮罩為3×3)的結果 13 圖2.8 中值濾波器示意圖 14 圖2.9 經過中值濾波器(遮罩為3×3)之結果 14 圖2.10 二值化之示意圖( ) 15 圖2.11 侵蝕之示意圖 16 圖2.12 擴張之示意圖 16 圖2.13 斷開之示意圖 17 圖2.14 閉合之示意圖 18 圖2.15 左側影像統計成直方圖之示意圖 18 圖2.16 直方圖等化的結果以及統計直方圖比較 20 圖2.17 經Cb與Cr值分割之結果 20 圖2.18 Hus[16]中的參考白方法之結果 21 圖2.19 Singh1[18]的演算法流程圖 22 圖2.20 Chen[15]的實驗結果 23 圖2.21 Liu的主要改善方法 25 圖2.22 Kim [7]所提出之方法 26 圖2.23 角度投影實作之結果 27 圖3.1 系統膚色分割的流程圖 28 圖3.2 Chen[15]所提出的光線補償結果 29 圖3.3 Chen[15]的光線補償+Hus[16]參考白的膚色分割結果 30 圖3.4 膚色CbCr值訓練流程圖 31 圖3.5 μ-σ分佈圖(輸入800張人臉影像) 32 圖3.6 K-means分群法的結果(輸入800筆資料) 35 圖3.7 PCA用於資料分析之示意圖 39 圖3.8 利用PCA找出資料的主軸 40 圖3.9 以主軸k-means分群法之分群結果 40 圖3.10 Cb與Cr值的分佈情形 41 圖3.11 區域填充之流程示意圖 43 圖3.12 區域填充之結果 43 圖3.13 利用連通成分分析框出膚色 44 圖3.14 沒有使用大小濾波器的膚色分割圖 44 圖4.1 特徵擷取以及人臉定位流程 46 圖4.2 Case 1的特徵擷取以及驗證之流程圖 47 圖4.3 Case 2的特徵擷取流程圖 49 圖4.4 從人臉候選區延伸出的頭髮候選區示意圖 50 圖4.5 頭髮偵測演算法流程圖 51 圖4.6 頭髮特徵擷取的結果 52 圖4.7 嘴唇特徵擷取的流程圖 53 圖4.8 嘴唇特徵擷取的結果 54 圖4.9 直方圖等化的結果 55 圖4.10 Otsu二值化示意圖 56 圖4.11 眼睛偵測之流程圖 56 圖4.12 眼睛特徵擷取的二元影像 57 圖4.13 人臉中眼睛與嘴唇之幾何關係 58 圖4.14 加入幾何判斷之結果比較圖 58 圖4.15 人臉變異度範圍之界定或訓練之流程圖 59 圖4.16 人臉變異度範圍訓練之示意圖 60 圖5.1 傳統k-means與主軸k-means結果之比較 63 圖5.2 與Chen[12]之方法做膚色分割比較(臉部亮度變異較單純的情形) 66 圖5.3 與Chen[12]之方法做膚色分割比較(臉部亮度變異較大的情形) 67 圖5.4 經過本文膚色分割失敗的例子 68 圖5.5 中興大學之人臉資料庫[4]人臉偵測結果 69 圖5.6 中興大學之人臉資料庫[4]人臉偵測失敗例子 70 圖5.7 針對不同距離的動態人臉偵測之結果 72 圖5.8 針對移動中的人做人臉偵測與追蹤(平均FPS:4 frames/sec.) 73 圖5.9 對動態偏亮的膚色做人臉偵測之結果 74 圖5.10 多人的人臉偵測結果 75 圖5.11 本文與其他文獻比較圖(利用折線圖方式呈現) 77 表目錄 表1.1 三種色彩空間比較 11 表2.1 針對膚色或光線的研究比較表 24 表4.1 Case 1 特徵擷取的真值表 48 表4.2 不同亮度下嘴唇顏色的RGB值 53 表5.1 k-means與主軸k-means實驗比較表 63 表5.2 不同亮度所對應之Cb與Cr值之範圍 65 表5.3 不同對象之靜態膚色偵測率 (其中DR為偵測率) 68 表5.4 針對中興大學背景單純之人臉偵測率(DR為偵測率) 70 表5.5 針對不同距離之動態人臉偵測實驗 72 表5.6 靜態人臉偵測實驗與他篇論文做比較 75 表5.7 動態人臉偵測實驗與他篇論文做比較 76

    [1] 人體計測資料庫,http://www.iosh.gov.tw/ergo.htm/
    [2] 李宗岳,「自適性臉部特徵擷取的動態人臉偵測系統」,國立台灣師範大學機電科技學系碩士論文,2006。
    [3] 邱柏智,國立台灣師範大學機電科技學系之人臉影片資料庫。
    [4] 國立中興大學資訊智慧實驗室之人臉測試影像資料庫,http://iilab.ee.nchu.edu.tw/
    [5] Daoqiang Zhang, Zhi-Hua Zhoua, Songcan Chen, “Diagonal principal component analysis for face recognition,” Pattern Recognition Society, 2005.
    [6] Rafael C. Gonzalez‧Richard E. Woods原著,繆紹鋼 編譯,「數位影像處理」第二版,普林斯頓國際有限公司。
    [7] H.I. Kim, S.H. Lee and N.I. Cho,” Rotation-invariant face detection using angular projections,” ELECTRONICS LETTERS 10th June 2004, Vol. 40 No. 12.
    [8] Hongxun Yao, Wen Gao, “Face detection and location based on skin chrominance and lip chrominance transformation from color images,” Pattern Recognition Society, 2000.
    [9] Hyungkeun Jee, Kyunghee Lee, and Sungbum Pan, “Eye and face detection using SVM,” Intelligent Sensors, Sensor Networks and Information Processing Conference, 2004.Proceedings of the 2004, pp. 14-17, Dec-2004.
    [10] J. Yang, D. Zhang, A.F. Frangi, J.Y. Yang, “Two-dimensional PCA: a new approach to appearance-based face representation and recognition”, IEEE Trans. Pattern Anal. Mach. Intell. 26 (1) (2004) 131–137.
    [11] Kyung-Min Cho, Jeong-Hun Jang, Ki-Sang Hong, “Adaptive skin-color filter,” Pattern Recognition Society, 2001.
    [12] LIU Zhi-fang, YOU Zhi-sheng, A.K.Jain, WANG Yun-qiong, “Face detection and facial feature extraction in color image,” Proceedings of the Fifth International Conference on Computational Intelligence and Multimedia Applications, 2003, IEEE.
    [13] Mantao Xu and Pasi Franti, “A Heuristic k-means Clustering Algorithm by Kernel PCA,” International Conference on Image Processing (ICIP), 2004.
    [14] M. Turk, A. Pentland, “Eigenfaces for recognition,” J. Cognitive Neurosci. 3 (1) (1991) 71–86.
    [15] Phil Chen, Dr. Christos Grecos, “A Fast Skin Region Detector,” ESC DIVISION RESEARCH, Department of EEE, Loughborough University 2005.
    [16] Rein-Lien Hus, and Anil K. Jain, “Face detection in color images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.24, NO.5, pp. 696-706, May-2002.
    [17] Richard O. Duda, Peter E. Hart, David G. Stork, ”Pattern Classification,” Second Edition, A Wiley-Interscience Publication.
    [18] Sanjay Kr. Singh1, D. S. Chauhan, Mayank Vatsa, Richa Singh, “A Robust Skin Color Based Face Detection Algorithm”, Tamkang Journal of Science and Engineering, Vol. 6, No. 4, pp.227-234 (2003).
    [19] Wan Xianbao, Cao Wenming, Li Guojun, “A Method of Face Location in Complex Background,” Neural Networks and Brain, 2005. ICNN&B '05. International Conference on Volume 3, 13-15 Oct. 2005 Page(s):1507 – 1510.
    [20] T. Kanungo, D. M. Mount, N. S. Netanyahu, C. D.Piatko, R. Silverman, and A. Y. Wu, “An efficient K-means clustering algorithm: analysis and implementation,” IEEE Trans. On Pattern Analysis and Machine Intelligence, 24(7), 2002, p.881-892.
    [21] Yanjiant Wang, and Baozong Yuan, “A novel approach for human face detection from color images under complex background,” Pattern Recognition, Vol. 34, NO.3, pp.1983-1992, February-2000.
    [22] 黃泰祥,「具備人臉追蹤與辨識功能的一個智慧型數位監視系統」,私立中原大學電子工程學系碩士論文,2004。
    [23] S.H. Kim and H.G. Kim, “Face Detection using Multi-model Information,” Proc. Fourth IEEE International Conference Automatic Face and Gesture Recognition, pp.14-19, 2000.
    [24] B. Froba and C. Kublbeck, “Face Detection and Tracking using Edge Orientation Information,” In SPIE Visual Communication and Image Processing, pp. 583-594, Jan. 2001.
    [25] Nara Yusuke, Jianming Yang, and Yoshikazu Suematsu, “Face detection using the shape of face with both color and edge,” Cybernetics and Intelligent Systems, 2004 IEEE Conference on, Vol.1, pp.1-3 Dec. 2004.
    [26] C.C. Han, H.Y. Liao, G.J. Yu, and L.H. Chen, “Fast Face Detection via Morphology-based Pre-processing,” Pattern Recognition, Vol.33, pp.1707-1712, 2000.

    QR CODE