簡易檢索 / 詳目顯示

研究生: 胡峻維
Hu, Chun-Wei
論文名稱: 可預估3D環境中目標物座標的眼動儀建構
Building an Eye Tracker System for Target Estimation in 3D
指導教授: 黃奇武
Huang, Chi-Wu
學位類別: 碩士
Master
系所名稱: 電機工程學系
Department of Electrical Engineering
論文出版年: 2016
畢業學年度: 104
語文別: 中文
論文頁數: 66
中文關鍵詞: 眼動儀頭戴式眼球模型視軸3D目標追蹤
英文關鍵詞: Eye Tracker, Wearable, Modeling, Visual Axis, 3D Target
DOI URL: https://doi.org/10.6345/NTNU202204319
論文種類: 學術論文
相關次數: 點閱:219下載:5
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 本研究提出一種可以預估現實的3D環境中,眼睛凝視目標物之座標的眼動儀的建構方法。透過頭戴式的眼動儀設計與雙眼數據處理,達到分析3D環境的效果,同時將運算出來的結果,與由伺服馬達組成並搭配雷射筆的2軸控制平台連線,由雷射筆指出當前使用者凝視的目標。
    眼動儀顧名思義即為透過偵測眼球的特徵變化與瞳孔轉動,去推斷使用者目前的凝視位置;而可預估3D目標物座標的眼動儀則是利用特殊的演算法,將2D環境(螢幕)中的預估凝視點轉為3D環境的預估凝視點,藉此預估目標物座標。本研究改善了前人提出的演算法中,有效預估距離過短及誤差過大的情形,將有效預估距離提升至100公分,平均誤差降低至2度。
    除了目前頭戴式眼動儀最廣為使用2D映射法,本研究也提出一種改良的建模演算法來預估眼睛的凝視視線,本方法改善了原來建模法計算複雜的缺點,透過求出眼睛角膜上的光源反射點與瞳孔折射點,建立起整個眼球的模型,並預估出使用者眼球的光軸與視軸,達到預估凝視點的效果。

    This research presents an approach to build an eye tracker for 3D target estimation. First, a wearable eye tracer, which two eye cameras are set on, is used. By analyzing the data calculated by binocular eye tracker, the 3D coordinates of the target can be estimated. Second, the two-axis control platform built by two servo motors and a laser pen are used to point the object user is looking at by receiving the 3D data obtained from the eye tracker system.
    Eye tracker is a device which estimates the position the user stares at by detecting the moving pupil. In this research, 2-D points of glint are transformed into 3-D points of glint to calculate the coordinates of object in real environment. Besides, this research increases the effective estimated distance by 100cm, and decreases the error by 2 degree.
    In addition to use 2D Mapping, this research also presents an improved 3D Modeling algorithm to estimate the gaze line (visual axis).

    目錄 摘要 i ABSTRACT ii 誌謝 iii 目錄 iv 圖目錄 v 表目錄 vii 第一章 緒論 1 1.1 研究背景與動機 1 1.2 研究目的 2 1.3 研究方法 2 第二章 文獻探討 4 2.1 眼動儀的應用 5 2.2 可預估3D目標物座標的眼動儀 7 2.3 預估凝視點的演算法 10 2.3.1 使用2D映射法的眼動儀 11 2.3.2 使用建模法的眼動儀 12 第三章 系統架構 17 3.1 硬體架構 18 3.2 取瞳原理 19 3.2.1 閥值分割法 20 3.2.2 斑點檢測 21 3.2.3 取瞳程序 31 3.3 校正方法 33 3.3.1 2D映射法 33 3.3.2 建模法 37 3.4 軟體架構 45 3.5 使用程序 49 3.6 預估3D凝視點的方法 50 3.7 應用硬體 52 第四章 相關應用與實驗 55 4.1 實驗設置與結果 55 第五章 結論與未來展望 62 REFERENCE 63 自傳 66 學術成就 66 圖目錄 圖1-1 風景照凝視實驗 1 圖1-2 頭戴式雙眼眼動儀 3 圖2-1 史上第一台侵入式眼動儀(設計者為Edmund Huey) 4 圖2-2 眼動儀輪椅系統操作介面 5 圖2-3 使用者正在進行輪椅操作 6 圖2-4 臉部辨識與眼球追蹤示意圖 6 圖2-5 不同距離實驗示意圖 7 圖2-6 建模法示意圖 8 圖2-7 雙眼視軸相交示意圖 8 圖2-8 Craig Hennessey的硬體配置 9 圖2-9 感興趣點與Delaunay Triangulation 10 圖2-10 座標轉換示意圖 10 圖2-11 2D映射法的眼動儀示意圖 11 圖2-12 利用透明板上的9點於實景攝影機的影像中校正 12 圖2-13 Guestrin的3D眼球模型 13 圖2-14 光軸示意圖 15 圖2-15 Microscribe示意圖 16 圖2-16 利用鏡面反射進行的校正流程 16 圖3-1 眼動儀系統架構流程圖 17 圖3-2 硬體架構 18 圖3-3 攝影機拍攝的暗瞳影像 19 圖3-4 原始影像與閥值分割處理後的影像 20 圖3-5 來源影像二值化示意圖 21 圖3-6 具有最大斑點數量的影像 22 圖3-7 二值化影像與斑點陣列 23 圖3-8 斑點檢測順序與Label Kernel 24 圖3-9 首列像素檢測與Label Kernel 25 圖3-10 併入前與併入後的首列檢測像素 26 圖3-11 首行像素檢測與Label Kernel 26 圖3-12 其餘列像素起始點至結束點間的像素檢測與Label Kernel 27 圖3-13 標籤與斑點物件的從屬關係 28 圖3-14 末行像素檢測與Label Kernel 30 圖3-15 二值化影像與斑點標籤陣列及標籤表 30 圖3-16 斑點物件分布示意圖與標籤數字列表 31 圖3-17 ROI示意圖(綠色為選取範圍) 32 圖3-18 二值化影像ROI區域與標記後的斑點物件 32 圖3-19 瞳孔中心計算 33 圖3-20 瞳孔中心與目標點產生映射關係 34 圖3-21 眼球模型與眼動儀模型 37 圖3-22 建模示意圖 39 圖3-23 標記前與標記後的瞳孔與光點影像 40 圖3-24 光源反射點的可能範圍(q1 ~ q2) 41 圖3-25 角平分線示意圖 42 圖3-26 雙球模型求取瞳孔示意圖 43 圖3-27 視軸與光軸夾角示意圖 44 圖3-28 眼動儀的操作介面 45 圖3-29 校正介面 47 圖3-30 校正前與校正後的按鍵 47 圖3-31 預估凝視點(紅點)的呈現介面 48 圖3-32 使用中的眼動儀主介面 49 圖3-33 凝視環境目標物示意圖 50 圖3-34 2D與3D的座標轉換示意圖 51 圖3-35 3D座標中的所有參數示意圖 52 圖3-36 兩軸旋轉平台示意圖 53 圖3-37 眼動儀系統與旋轉平台使用示意圖 54 圖4-1 空間中9點凝視實驗示意圖 56 圖4-2 3D座標中的實驗結果示意圖 57 圖4-3 建模法9點實驗結果 59 圖4-4 旋轉平台 59 圖4-5 旋轉平台實驗示意圖 60   表目錄 表2-1 幾何關係式與其物理意義 14 表3-1 Label Table的初始值 23 表3-2 眼睛組織的各項係數值 41 表4-1 實驗結果 57 表4-2 30cm實驗板實驗結果 61 表4-3 50cm實驗板實驗結果 61 表4-4 100cm實驗板實驗結果 61

    [1] Elias Daniel Guestrin, Moshe Eizenman, “General Theory of Remote Gaze Estimation Using the Pupil Center and Corneal Reflections,” IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, JUNE 2006, VOL. 53, NO. 6
    [2] Dan Witzner Hansen, Qiang Ji, “In the Eye of the Beholder: A Survey of Models for Eyes and Gaze,” IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, MARCH 2010, VOL. 32, NO. 3
    [3] Sheng-Wen Shih, Jin Liu, “A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras,” IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART B: CYBERNETICS, FEBRUARY 2004, VOL. 34, NO. 1
    [4] Laura Sesma-Sanchez, Arantxa Villanueva, Rafael Cabeza, “Gaze Estimation Interpolation Methods Based on Binocular Data,” IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, AUGUST 2012, VOL. 59, NO. 8
    [5] Craig Hennessey, Peter Lawrence, “Noncontact Binocular Eye-Gaze Tracking for Point-of-Gaze Estimation in Three Dimensions,” IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, MARCH 2009, VOL. 56, NO. 3
    [6] Zhiwei Zhu, Qiang Ji, “Novel Eye Gaze Tracking Techniques Under Natural Head Movement,” IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, DECEMBER 2007, VOL. 54, NO. 12
    [7] T. Kowsari, S.S. Beauchemin, M.A. Bauer, D. Laurendeau, N. Teasdale, “Multi-Depth Cross-Calibration of Remote Eye Gaze Trackers and Stereoscopic Scene Systems,” 2014 IEEE Intelligent Vehicles Symposium (IV), June 8-11, 2014. Dearborn, Michigan, USA
    [8] Mohamad A. Eid, Nikolas Giakoumidis, Abdulmotaleb El Saddik, “A Novel Eye-Gaze-Controlled Wheelchair System for Navigating Unknown Environments: Case Study With a Person With ALS” IEEE Access, January 28, 2016.
    [9] Kentaro Takemura, Kenji Takahashi, Jun Takamatsu, Tsukasa Ogasawara, “Estimating 3-D Point-of-Regard in a Real Environment Using a Head-Mounted Eye-Tracking System,” IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS, AUGUST 2014VOL. 44, NO. 4
    [10] Ricardo Campos, Cristina Santos, “Eye Tracking System Using Particle Filters” Bioengineering (ENBENG), 2013 IEEE 3rd Portuguese Meeting in, 20-23 Feb. 2013
    [11] Junghoon Park, Taeyoung Jung, Kangbin Yim, “Implementation of an Eye Gaze Tracking System for the Disabled People,” 2015 IEEE 29th International Conference on Advanced Information Networking and Applications
    [12] Peter M. Corcoran, Florin Nanu, Stefan Petrescu, Petronel Bigioi, “Real-Time Eye Gaze Tracking for Gaming Design and Consumer Electronics Systems,” IEEE Transactions on Consumer Electronics, May 2012, Vol. 58, No. 2
    [13] Ziho Kang, Ellen J. Bass, “Supporting the eye tracking analysis of multiple moving targets: Design concept and algorithm,” 2014 IEEE International Conference on Systems, Man, and Cybernetics, October 5-8, 2014, San Diego, CA, USA
    [14] Michel Ballings, Dirk Van den Poel, “Using Eye-Tracking Data of Advertisement Viewing Behavior to Predict Customer Churn,” 2013 IEEE 13th International Conference on Data Mining Workshops
    [15] Cheng-Lung Jen, Yen-Lin Chen, You-Jie Lin, Chao-Hsien Lee, Augustine Tsai, Meng-Tsan Li, “Vision Based Wearable Eye-Gaze Tracking System,” 2016 IEEE International Conference on Consumer Electronics (ICCE)
    [16] Wikipedia: Least squares, https://en.wikipedia.org/wiki/Least_squares, 2016
    [17] Code Laboratories, http://codelaboratories.com/about/, 2016
    [18] Microscribe, http://microscribe.ghost3d.com, 2016
    [19] Arduino, https://zh.wikipedia.org/wiki/Arduino, 2016
    [20] OpenCV: Thresholding,
    http://docs.opencv.org/doc/tutorials/imgproc/threshold/threshold.html, 2016
    [21] MG995 Servo Motor, http://prodtech.biz/robot/TowerProMG995-v1.pdf, 2016
    [22] Wikipedia: Playstation Eye, http://prodtech.biz/robot/TowerProMG995-v1.pdf, 2016
    [23] ax-12 servo motor, http://support.robotis.com/en/product/dynamixel/ax_series/dxl_ax_actuator.htm

    下載圖示
    QR CODE