Johanan Erez
Tel. 4729, Room 604
Gal Dalal
Tel. 4803 Room F462

3D Face Tracking with INTEL RealSense camera


3D sensors and cameras are coming widely spread and 3D image processing is becoming a main issue in understanding and processing visual data, in both academy and industry.

In this project we use one of the latest products in this field, INTEL’s RealSense depth camera. This camera produces both RGB and depth images and it comes with an SDK that includes many ready-to -use tools, including finger tracking, facial analysis, speech recognition and many more.

INTEL’s Realsense technology includes a state-of-the-art algorithm for facial feature tracking. This algorithm is capable of tracking feature points from the RGB images. In this project we enhance this algorithm by making advantage of the additional depth information. This shall make it possible to track additional points that look similar in the RGB images but have different depth values. The outcome of this project shall be an enhanced algorithm that could be integrated in INTEL’s SDK and/or be used for several applications where high resolution facial tracking is essential.



  • Programming capabilities (MATLAB/C++)
  • Image Processing Background
  • Machine Learning (046195 or similar) – advantage

בפרויקט זה סטודנטים יפתחו שיפור של שיטה לעקיבה אחרי נקודות עניין. הפרויקט יבוסס על שימוש במצלמת Realsense של אינטל שכוללת SDK עם יכולות רבות, הין היתר מימוש יעיל לעקיבת פנים.
האלגוריתם הקיים משתמש באופן חלקי בלבד  במידע העומק שניתן להפיק מן המצלמה. כתוצאה מכך, הוא מצליח לעקוב רק אחר נקודות שניתן להבדיל ביניהן בתמונת הצבע.
בפרויקט הזה נשלב את מידע העומק באופן כזה שניתן יהיה לקבל עקיבה אחר נקודות בפנים גם באזוןרים חלקים, אזורים שבהם פיקסלים שכנים זהים או כמעט זהים בתמונת הצבע.
התוצאה הרצויה של הפרויקט הוא אפשרות שילוב האלגוריתםן המשופר ב-SDK של אינטל ו\או שימוש ליישומים שונים בהם נדרשת עקבה יותר מדוייקת של נקודות בפנים.

בפרויקט נעשה שימוש ב-SDK של אינטל בשפת C\C++