Презентация на тему "Введение в техническое зрение"

Содержание

• 
  Слайд 1

  Введение в техническое зрение

  Степанов Дмитрий Николаевич Начальник лаборатории систем технического зрения dnstepanov@gmail.com Image by kirkh.deviantart.com

• 
  Слайд 2
  

  Презентации будут доступны (флешка, дропбокс, BTSync) Вместо упражнений по пятницам – домашние задания 1-2 домашних задания => экзамен/зачёт за СЕМЕСТР автоматом Возможные задания: 1) практическая работа + её демонстрация на лекции 2) реферат + доклад Список вопросов/тем будет ближе к середине семестра Меня можно найти почти каждый день, 10:00-18:00, к. 5014/5017 Электронная почта: dnstepanov@gmail.com Кафедра требует отмечать посещаемость, 4 пропуска – объяснения с Юревичем Организационные вопросы

• 
  Слайд 3
  

  Есть возможность написания НИР и бакалаврских работ Тематика: техническое зрение и/или нейронные сети, машинное обучение Требования: чтение иностранных статей, программирование (Matlab, C/C++, Python) Бонусы: реальное внедрение, возможность устройства на работу НИР и бакалаврские работы

• 
  Слайд 4
  

  Что такое компьютерное зрение? Почему это сложно Примеры использования Смежные области Мобильные роботы Вопросы Сегодняшнее занятие - введение

• 
  Слайд 5
  

  Основная идея Позволить компьютерам понимать изображения и видео Смежные области Компьютерная графика: модели – в изображения Компьютерная фотография: изображения – в изображения Компьютерное зрение: изображения – в модели Что такое компьютерное зрение? Что изображено на сцене? Где автомобили? Как далеко до здания?

• 
  Слайд 6
  

  Зрение Потрясающая способность живых существ 50% головного мозга макаки Самая большая часть мозга человека среди других функций До 93% информации – из зрения Почему это сложно Это король или ферзь?

• 
  Слайд 7
  

  Почему это сложно

• 
  Слайд 8
  
• 
  Слайд 9
  
• 
  Слайд 10
  

  Почему это важно Безопасность Здоровье Охрана Комфорт и др. Развлечение

• 
  Слайд 11
  

  Самая короткая история технического зрения Зрение 1966: Марвин Минский сформулировал студенту летнюю задачу в области технического зрения (connect a television camera to a computer and get the machine to describe what it sees) 1970’s: Некоторый прогресс в понимании отдельных изображений 1980’s: нейросети; сдвиг в сторону геометрии и математической строгости 1990’s: распознавание лиц; статистический анализ 2000’s: широкое признание; большие размеченные базы данных; начало обработки видео 2030’s: восстание машин? Guzman ‘68 Ohta Kanade ‘78 Turk and Pentland ‘91

• 
  Слайд 12
  

  Optical character recognition (OCR) Распознавание цифр, AT&T labs http://www.research.att.com/~yann/ Технология для преобразования сканированных документов в текст Распознавание номерных знаков http://en.wikipedia.org/wiki/Automatic_number_plate_recognition

• 
  Слайд 13
  

  Обнаружение лиц Камеры, смартфоны сейчас легко обнаруживают лица

• 
  Слайд 14
  

  Обнаружение улыбок Sony Cyber-shot® T70 Digital Still Camera

• 
  Слайд 15
  
• 
  Слайд 16
  
• 
  Слайд 17
  
• 
  Слайд 18
  

  Распознавание объектов (в супермаркетах) Штрих-коды LaneHawkby EvolutionRobotics “A smart camera is flush-mounted in the checkout lane, continuously watching for items. When an item is detected and recognized, the cashier verifies the quantity of items that were found under the basket, and continues to close the transaction. The item can remain under the basket, and with LaneHawk,you are assured to get paid for it… “

• 
  Слайд 19
  

  Биометрия Как «афганская девушка»Шарбат Гула была идентифицирована спустя 18 лет по радужной оболочке (iris recognition)

• 
  Слайд 20
  

  Вход без пароля Сканеры отпечатков – смартфоны, мыши, системы безопасности, автомобили Распознавание лиц (по небольшой базе – вполне надёжно)

• 
  Слайд 21
  

  Распознавание объектов Point & Find, Nokia Google Goggles

• 
  Слайд 22
  

  Спецэффекты The Matrix movies, ESC Entertainment, XYZRGB, NRC

• 
  Слайд 23
  

  Реконструкция 3D-модели движущегося лица Total Moving Face Reconstruction, ECCV 2014 SupasornSuwajanakorn, Ira Kemelmacher-Shlizerman, Steven M. Seitz

• 
  Слайд 24
  
• 
  Слайд 25
  
• 
  Слайд 26
  

  Захват движения (MoCap) Pirates of the Carribean, Industrial Light and Magic

• 
  Слайд 27
  
• 
  Слайд 28
  

  Захват движения (MoCap)

• 
  Слайд 29
  

  Анализ спортивных игр Sportvision first down line Nice explanation on www.howstuffworks.com http://www.sportvision.com/video.html

• 
  Слайд 30
  

  «Умные» автомобили Mobileye BMW, GM, Volvo и др.(70% производителей ещё в 2010 году) Slide content courtesy of Amnon Shashua

• 
  Слайд 31
  

  Google Oct 9, 2010. "Google Cars Drive Themselves, in Traffic". The New York Times. John Markoff June 24, 2011. "Nevada state law paves the way for driverless cars". Financial Post. Christine Dobby Aug 9, 2011, "Human error blamed after Google's driverless car sparks five-vehicle crash". The Star (Toronto)

• 
  Слайд 32
  

  Игры Object Recognition: http://www.youtube.com/watch?feature=iv&v=fQ59dXOo63o Mario: http://www.youtube.com/watch?v=8CTJL5lUjHg 3D: http://www.youtube.com/watch?v=7QrnwoO1-8A Robot: http://www.youtube.com/watch?v=w8BmgtMKFbY

• 
  Слайд 33
  

  Медицина Image guided surgery Grimson et al., MIT 3D imaging MRI, CT

• 
  Слайд 34
  

  Промышленные роботы Vision-guided robots position nut runners on wheels

• 
  Слайд 35
  

  Мобильные роботы http://www.robocup.org/ NASA’s Mars Spirit Rover http://en.wikipedia.org/wiki/Spirit_rover Saxena et al. 2008 STAIR at Stanford

• 
  Слайд 36
  

  Космос Vision systems (JPL) used for several tasks Panorama stitching 3D terrain modeling Obstacle detection, position tracking For more, read “Computer Vision on Mars” by Matthies et al. NASA'S Mars Exploration Rover Spirit captured this westward view from atop a low plateau where Spirit spent the closing months of 2007.

• 
  Слайд 37
  

  Навигация По визуальным маркерам PTAM, LSD-SLAM, ORB-SLAM Обеспечение безопасного вождения, обнаружение препятствий Плоскость Стерео Kinect Структурированная подсветка СТЗ для роботов

• 
  Слайд 38
  

  Соединение информации от датчиков различной физической природы СТЗ + Одометрия (пройденный путь) GPS (сканирующий) лазерный дальномер Комплексирование

• 
  Слайд 39
  

  Качественная навигация Как мы определяем, куда идти Как ставим и описываем себе и другим цели навигации Уровень абстракции – «какой-то розовый 9-этажный дом» Без метрики и чисел Новый подход (самое начало пути)

• 
  Слайд 40
  

  Камера и человеческий глаз Восприятие света и цвета Пиксели Модель камеры, преобразование геометрии Фильтрация изображений Дальше

• 
  Слайд 41
  

  Россия, 194064, г. Санкт-Петербург, Тихорецкий пр., 21 тел.: (812) 552-0110 (812) 552-1325 факс: (812) 556-3692 http://www.rtc.rue-mail: rtc@rtc.ru Г О С У Д А Р С Т В Е Н Н Ы Й Н А У Ч Н Ы Й Ц Е Н Т Р Р О С С И И ЦЕНТРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ И ОПЫТНО-КОНСТРУКТОРСКИЙ ИНСТИТУТ РОБОТОТЕХНИКИ И ТЕХНИЧЕСКОЙ КИБЕРНЕТИКИ Г О С У Д А Р С Т В Е Н Н Ы Й Н А У Ч Н Ы Й Ц Е Н Т Р Р О С С И И ЦЕНТРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ И ОПЫТНО-КОНСТРУКТОРСКИЙ ИНСТИТУТ РОБОТОТЕХНИКИ И ТЕХНИЧЕСКОЙ КИБЕРНЕТИКИ Спасибо за внимание!