Прокрутите лист вниз: примеры и самопроверка продолжаются ниже.
Для нас — кот. Для компьютера — числа.
В прошлый раз мы искали похожие строки таблицы и тексты. Теперь объект — целая фотография. Главный вопрос не «какую сеть взять?», а как представить изображение, чтобы сходство чисел помогало решить нашу задачу?
Серое изображение
Одна матрица яркостей. В обычном 8-битном примере 0 — чёрный, 255 — белый.
RGB-изображение
Три канала: красный, зелёный и синий. Цвет пикселя описывается тройкой чисел.
Видео
Последовательность изображений во времени. Добавляются порядок кадров и движение.
Одна строка аналитической таблицы может описывать одно изображение целиком. Файл хранит картинку; после чтения появляются пиксели. Из них человек строит ручные признаки или сеть получает выученное представление. Ручные признаки не являются обязательной технической ступенью перед embedding.
Классификация 🏷
Что изображено? Выбираем общий класс: например, «транспорт».
Детекция □
Где объекты? Находим их, задаём рамки и классы.
Сегментация ◫
Какие пиксели относятся к объекту? Получаем маску, а не только рамку.
RGB-картинка 100 × 100: сколько цветовых значений без альфа-канала?
Почему просто сравнить все пиксели бывает неудобно?
Прокрутите лист вниз: примеры и самопроверка продолжаются ниже.
Сначала — один хороший признак.
Ручной признак — вычислимая характеристика, которую придумал аналитик. Это не «старый плохой способ»: иногда простая величина решает задачу понятнее и дешевле большой сети. Но каждый такой признак — гипотеза, а не универсальный закон.
День или ночь
Начните со средней яркости и порога. Тёмные снимки чаще ночные, светлые — дневные.
Солнечный лес
Две оси: яркость и доля зелёного. Ярко и зелено — кандидат на лес, но ещё не доказательство.
Много неба
Одной доли синего мало. Нужны положение синей области и граница: море тоже синее.
Подвигайте порог «день / ночь»
Учебные, придуманные примеры: ночь с фонарями — яркость 190; день в тени — 70. Наше правило: не ниже порога → «день».
Это иллюстрация ограничения признака, не эксперимент с реальными фотографиями.Красный круглый объект
Нужны цвет, форма и отделение объекта от фона. «Круглый» ещё предстоит превратить в правило.
Красная куртка + собака
Нужно распознать человека, одежду, её цвет и собаку; затем проверить отношение «рядом».
Человек с подарком
Добавляются поза, предмет в руках, выражение лица и контекст. Десятки правил быстро превращаются в головоломку.
Совет доктора Игоря: прежде чем усложнять модель, предложите простой baseline. Затем специально найдите пример, который ставит его в тупик.
Прокрутите лист вниз: примеры и самопроверка продолжаются ниже.
Не волшебство, а обучаемые вычисления.
Один искусственный нейрон сначала собирает взвешенную сумму входов, а затем применяет функцию активации. Вес задаёт, как вход влияет на сумму; свободный член b сдвигает её.
Например, x₁ = 0,8, x₂ = 0,2, w₁ = 0,5, w₂ = −1, b = 0,1. Тогда z = 0,5 · 0,8 − 0,2 + 0,1 = 0,3. Это результат суммы; он не становится вероятностью автоматически. Что означает выход, зависит от функции и задачи.
Зачем нелинейность?
Без нелинейных преобразований последовательность линейных слоёв сводится к одной линейной модели.
Как учатся веса?
В примере обучения с учителем: прогноз → сравнение с ответом → ошибка → небольшая поправка весов → повтор.
Зачем слои?
Слои комбинируют сигналы. Сеть учится внутреннему языку признаков — representation learning.
Это педагогическая интуиция из урока, а не буквальная подпись каждого нейрона.
Filter / kernel
Маленькое окно проверяет локальный паттерн: край, угол, текстуру.
Один фильтр — по всей картинке
Один и тот же набор весов применяется в разных местах изображения. Не нужен отдельный детектор края слева, справа, сверху и снизу.
Feature map
Карта отклика показывает, где и насколько сработал фильтр. Много фильтров — много карт.
Кто назначает сети: «этот нейрон ищет ухо»?
Фильтр и карта признаков — одно и то же?
Прокрутите лист вниз: примеры и самопроверка продолжаются ниже.
Embedding: картинка возвращается в таблицу.
В историческом блоке урока ImageNet служит точкой поворота: большой набор размеченных изображений позволил сравнивать системы распознавания. В 2012 году AlexNet показал силу глубоких свёрточных сетей и обучения признаков по данным. Это не означает, что ручные признаки перестали быть полезными.
Embedding — вектор признаков изображения, например [0,12; 1,87; −0,44; 0,03; …]. Вместо итогового класса берём внутреннее представление сети. В учебной аналогии это числовой отпечаток, но не уникальный паспорт и не человеческое объяснение картинки.
Одна строка
Один объект — одно изображение. Столбцы — координаты embedding; имя файла остаётся метаданными.
Похожесть
Близость векторов полезна, если обученное представление отражает нужные нам свойства. Абсолютной похожести нет.
Перенос знаний
Предобученная сеть уже искала визуальные закономерности. Используем её как готовую фабрику признаков, не обучая с нуля.
После этого снова доступны знакомые методы: Distances, Neighbors, кластеризация, Logistic Regression, kNN, Random Forest, SVM. Для разведки — проекции PCA / t-SNE / UMAP и поиск необычных объектов. Двумерный рисунок embedding-пространства — только наглядная схема или проекция многомерных данных.
Что общего у Bag of Words и Image Embedding?
Хорошие соседи доказывают, что сеть понимает мир как человек?
Прокрутите лист вниз: примеры и самопроверка продолжаются ниже.
Сначала смотрим, потом считаем.
Установите расширение Image Analytics. Начните с 20–30 изображений: проверьте папку, скорость, выбранный embedder и число пропущенных файлов. На выходе нужна не «красивая сетка картинок», а таблица признаков.
Image Viewer — отдельная ветка осмотра. Он не заменяет Image Embedding. После embedding проверьте число обработанных и skipped images; для анализа используйте embedding-координаты, а не случайно добавленные размер файла, ширину и высоту.
| Модель | Для чего | Где считает |
|---|---|---|
| SqueezeNet | Небольшая универсальная модель; удобный первый запуск. | Локально |
| Inception v3 | Общие изображения, объекты и сцены. | Удалённо |
| VGG-16 / VGG-19 | Классические универсальные представления; VGG-19 была в старой домашней. | Удалённо |
| Painters | Живопись и стиль. | Удалённо |
| DeepLoc | Микроскопические изображения клеток. | Удалённо |
| openface | Лица; был в интерфейсе урока. Наличие зависит от версии. | Проверьте свою версию |
Для перечисленных официально описанных моделей Orange SqueezeNet локальный, остальные требуют интернет. Личные фотографии не отправляйте в удалённый сервис без осознанного согласия; для учебного опыта достаточно предмета или рисунка.
Поиск трёх соседей: два входа, а не одна цепочка
Метрику и число соседей задайте в Neighbors. Уберите исходное изображение из ответа. Отдельная матрица Distances нужна иерархической кластеризации, но не подаётся вместо Data в Neighbors.
Соединения виджетов уточнены по справке Neighbors; режимы моделей — по Image Embedding. Содержание листа опирается на урок.
Прокрутите лист вниз: примеры и самопроверка продолжаются ниже.
Изображение правдоподобно. Вывод тоже проверен?
После embedding классификация остаётся обычной задачей обучения с учителем. Классы можно получить из подпапок: кошки / собаки, еда / транспорт. Нужно несколько примеров каждого класса; одно изображение уникального вида — не основа честной проверки распознавания этого вида.
Accuracy — общая доля верных ответов. Precision / Recall помогают рассмотреть ошибки выбранного класса; AUC в бинарном примере оценивает качество ранжирования. Confusion Matrix показывает, кто с кем путается. Затем откройте сами ошибочные изображения.
Generator
Из случайного шума создаёт пример, похожий на реальные данные.
Discriminator
Пытается отличить реальные примеры от сгенерированных.
GAN: обучение
Проверка → ошибка → изменение весов. Две сети совершенствуются в состязании.
GAN в уроке — пример генерации, дорисовки, реставрации, переноса стиля и синтетических данных. Vision-language модели связывают изображение с текстом: описание, вопросы, поиск. В большой карте computer vision есть также детекция, сегментация и OCR.
Ловушка deepfake: правдоподобная картинка не доказывает, что событие произошло. Проверяйте источник и контекст. Убедительный ответ модели тоже остаётся ответом, который надо проверить.
Accuracy высокая. Где искать скрытую проблему?
Главная роль нейросети в этой неделе?
Уголок библиофила из урока: Ethem Alpaydın, Machine Learning (2021) — общая карта ML; John D. Kelleher, Deep Learning (2019) — слои, обучение и ограничения. Обе книги — MIT Press Essential Knowledge. Читать как навигатор, не пытаться сразу выучить всё.
Итог: пиксели → представление → таблица → модель → метрики → реальные ошибки → человеческий смысл.
Основа: предоставленный полный конспект урока 11, разделы 0–23; слайды «Компьютерное зрение: от пикселей к признакам». Нумерация листов этого саммари не является нумерацией слайдов.