Фоновый баннер

Компьютерное зрение

Подробнее о курсе

Краткое описание курса
По ходу курса вы обучите нейросети для решения задач:

  • классификации и сегментации изображений
  • детекции объектов на изображениях
  • отслеживания объектов на видео
  • обработки трехмерных сцен
  • порождения изображений и атаки на обученные модели нейронных сетей
  • научитесь пользоваться основными фреймворками для создания нейросетей: PyTorch, TensorFlow и Keras.

Цель курса
Вы освоите принципы машинного обучения в области компьютерного зрения и сможете решать индустриальные задачи, используя открытые датасеты.

Целевая аудитория курса

  • специалисты в сфере Machine Learning

Получаемые знания и навыки

  • Будете работать с открытыми датасетами для различных задач Computer Vision
  • Разберетесь в принципах работы и вариантах сверточных и пулинг-слоев, в том числе, специфических для задач детекции и сегментации объектов.
  • Научитесь применять механизм внимания в сверточных сетях.
  • Узнаете, какие идеи лежат в основе современных сверточных сетей (MobileNet, ResNet, EfficientNet, etc.)
  • Разберетесь в DL-подходах к детекции объектов — изучите семейство R-CNN, реалтайм-детекторы: YOLO, SSD. А также реализуете детектор объектов самостоятельно.
  • Научитесь решать задачу Deep Metric Learning с помощью сиамских сетей. Узнаете, что такое triplet loss, angular loss.
  • Получите опыт в решении задачи сегментации изображений: U-Net, DeepLab.
  • Научитесь применять fine tuning, transfer learning и собирать собственные датасеты для задач object detection и Image segmentation, metric learning.
  • Будете работать с генеративными состязательными сетями. Поймете, как можно использовать GANs для состязательных атак и как реализовать super resolution GANs.
  • Научитесь запускать модели на сервере (tensorflow serving, TFX). Познакомитесь с фреймворками для оптимизации нейросетей для инференса на мобильных/embedded-устройствах: Tensorflow Lite, TensorRT.
  • Изучите архитектуры для определения Facial Landmarks: Cascade shape regression, Deep Alignment Network, Stacked Hourglass Network

Необходимая предварительная подготовка

  • Основы мат. анализа, линейной алгебры, теории вероятностей и мат. статистики, метод обратного распространения.
  • Основы программирования на Python.
  • Знания, как устроены базовые архитектуры и слои нейронных сетей (сверточные/рекуррентные сети, батч-нормализация, сиамские сети и т. д.).

Программа курса

Модуль 1. От основ к современным архитектурам

  • Компьютерное зрение: задачи, инструменты и программа курса
  • Сверточные нейронные сети. Операции свертки, транспонированной свертки, пуллинг
  • Эволюция сверточных сетей: AlexNet- >EfficientNet
  • Подготовка и аугментация данных
  • OpenCV. Классические подходы
  • Стандартные датасеты и модели в PyTorch на примере Fine-tuning
  • Object detection 1. Постановка задачи, метрики, данные, R-CNN
  • TensorRT и инференс на сервере

Модуль 2. Детекция, трекинг, классификация

  • Landmarks: Facial landmarks: PFLD, stacked hourglass networks(?), Deep Alignment Networks (DAN)
  • Object detection 2. MaskRCNN, YOLO, RetinaNe
  • Стандартные датасеты и модели в TensorFlow на примере подхода Transfer Learning
  • Pose estimation
  • Object tracking
  • Face recognition

Модуль 3. Сегментация, генеративные модели, работа с 3D и видео

  • Сегментация + 3Dсегментация
  • Работаем с 3D сценами. PointNet
  • Self-driving / Autonomous Vehicle
  • Автокодировщики
  • Action recognition и 3d для видео
  • GANs 1. Фреймворк, условная генерация и super-resolution
  • Semi-supervised learning
  • GANs 2. Обзор архитектур

Модуль 4. Проектная работа

  • Выбор темы и организация проектной работы
  • Консультация по проектам и домашним заданиям
  • Защита проектных работ

Отзывы по курсу