In this lab course of 4 meetings (4 hours each) students will learn and experiment with Computer Vision tasks for autonomous vehicles, including:
- Image registration
- Semantic segmentation using deep learning
- Camera calibration
- Feature point extraction
- Simultaneous location and mapping (SLAM)
The exercises will be performed using Python code in Windows workstations, using cameras and a mobile robot.
045115 – מעבדה בראייה ממוחשבת
צוות הקורס:
- פרופ’ גיא גלבוע (אחראי אקדמי)
- דר’ אלי אפלבוים (אחראי מנהלי)
- יוחנן ארז (מהנדס מעבדה)
מתכונת הקורס:
הקורס בנוי מארבעה מפגשים בני ארבע שעות כל אחד, במהלכם מבצעים התלמידים משימות שונות של עיבוד וניתוח תמונות. התרגילים יבוצעו בתחנות עבודה במעבדות הנ”ל.
לפני כל מפגש הסטודנטים מגישים דוח מכין ונדרשים לעמוד בבוחן כניסה המוודא את מדת מוכנותם לבצוע המשימות השונות. קבלת ציון 85 בבוחן הכניסה בכל מפגש מהווה תנאי לביצוע קורס. אחרי כל מפגש הסטודנטים יגישו דו”ח מסכם. הציון הסופי ייקבע על ידי שקלול דו”ח מכין, בוחן כניסה, הערכת ביצוע הניסוי, דו”ח מסכם.
הקורס ניתן לראשונה בסמסטר חורף תשפ”ד 01/2023, להלן טיוטה לנושאים הנכללים במפגשים השונים, פרטים מדוייקים יפורסמו באתר מודל של הקורס:
מפגש ראשון:
שיטות למציאת נקודות עניין (feature points) SIFT – SURF – ORB
רגיסטרציה של תמונות
מפגש שני:
סגמנטציה סמנטית
מפגש שלישי:
חלק א’ כיול מצלמה (כלי של MATLAB או סקוד פייתון של OpenCV)
חלק ב’ + הרצה בסיסית של SLAM כולל המחשה של שלבי האלגוריתם.
מפגש הרביעי:
שתי משימות על datasets מהרובוט.
משימה 1 – ניווט לאורך שביל על סמך סגמנטציה:
מציאת השביל וחישוב וקטור שמצביע על כיוון ההתקדמות הרצוי של הרובוט בכל פריים.
Dataset1 שהתוצאות מתקבלות בקלות.
Dataset2 מאתגר דורש התאמות על מנת להצליח לבצע סגמנטציה טובה.
משימה 2 – חישוב מסלול הרובוט על סמך slam:
Dataset1 שהתוצאות מתקבלות בקלות.
Dataset2 מאתגר דורש התאמת פרמטרים כדי להצליח לחשב את המסלול.
Some references for preparing the experiment:
What is a pinhole camera Khan Academy (3 min video)
What is focal distance Khan Academy (2 min video)
What are camera lenses Khan Academy (3.5 min video)
What is depth of field Khan Academy (3.5 min video)
What are SIFT and SURF (tutorial)
SIFT – Scale Invariant Feature Transform (tutorial)
Comparison between SIFT, SURF and ORB (tutorial)
What is camera calibration (OpenCV tutorial)
What is camera calibration (MATLAB tutorial)
MATLAB camera calibration tool (tutorial and 6 min video)
Demo: Navigation with monocular camera and SLAM