Курс по компьютерному зрению: от YOLO11 до мультимодальных моделей

Материал описывает программу учебного курса по компьютерному зрению, который ведёт Мухаммад Моин. Курс построен как последовательность практических шагов: от базовой детекции объектов на YOLO11 до работы с мультимодальными моделями, которым можно задавать вопросы про изображение. Для входа достаточно знать Python — остальное разбирается по ходу. Первая часть посвящена YOLO11 и тому, что изменилось в новой версии модели. В Google Colab показывают, как запускать детекцию объектов, сегментацию, оценку позы и классификацию изображений. Отдельный шаг — построение аналитических графиков и визуализаций по результатам работы модели, чтобы по числам было видно, что происходит на видео или в кадре, а не только ограничиваться рамками вокруг объектов. Дальше начинается то, что чаще всего нужно в реальных проектах. Связка YOLO11 и DeepSORT позволяет отслеживать объекты между кадрами и считать, сколько их прошло через заданную зону — типичная задача для камер в магазине, на складе или на улице. Затем слушатели собирают приложения на Streamlit: интерфейс для детекции, сегментации и оценки позы, куда можно загрузить своё изображение или видео. Такой навык полезен, потому что модель сама по себе мало что даёт, пока у неё нет простого способа показать результат. Отдельный блок — повышение качества детекции на аэроснимках с камеры дрона. Мелкие объекты на больших изображениях теряются, и здесь применяется SAHI вместе с Ultralytics YOLO11: изображение разбивается на части, что улучшает поиск небольших объектов. Ещё один практический приём — оценка реального расстояния до объекта: YOLO11 находит объект, а модель Depth Pro даёт оценку глубины, и вместе они позволяют судить, насколько далеко он находится. Финальная часть — мультимодальные модели. Qwen2.5-VL показывают в режиме zero-shot детекции объектов, то есть без отдельного обучения под конкретный класс. Florence 2 разбирается на задачах детекции, генерации описания изображения и OCR — распознавания текста на картинке. Gemini 2.5 Pro используют для детекции, описаний, рассуждений по изображению и OCR. Смысл этого блока в том, что часть задач теперь можно решать запросом к модели вместо обучения собственной сети, и полезно понимать, где такой подход уместен, а где всё ещё нужен классический пайплайн с отдельной моделью детекции. Аудитория курса — студенты и исследователи, интересующиеся компьютерным зрением, а также разработчики, которые хотят строить приложения на основе ИИ и визуально-языковых моделей. Практическая ценность для начинающего разработчика здесь в том, что все темы даются как связка инструментов под конкретную задачу: найти объекты, отследить их движение, посчитать, показать результат в веб-интерфейсе, оценить расстояние и, если нужно, обойтись готовой мультимодальной моделью вместо собственного обучения.