Распознавание вида рыбы по любительской фотографии

Система получает любительскую фотографию (рыба в руках, на берегу, в лодке, на траве) и определяет вид каждой рыбы на снимке. Всего 43 вида пресноводных рыб. Работа идёт в два шага: первая нейросеть, детектор YOLO26n, находит рыб на фото и обводит их рамками; вторая, классификатор RepViT-M0.9, определяет вид по вырезанному фрагменту. Обе сети небольшие (около 10 и 19 МБ) и работают на обычном процессоре, видеокарта не нужна.

Пример работы системы на реальном фото: фото, рамка детектора, кроп, три вида с вероятностями
Реальное фото, которого модели не видели при обучении: рамка детектора, вырезанный фрагмент в квадрате, три самых вероятных вида
Видов рыб
43
10 767 кропов · дисбаланс 100 : 1
mAP@0,5 детектора
0,92
фолд 0 · готовая модель 0,48
Точность классификатора
0,863
5 фолдов · macro-F1 0,836
Верный вид среди трёх вариантов
0,948
5 фолдов · 10 767 кропов
Точность всей системы
0,85
фолд 0 · 2 158 новых фото
Время на одно фото
83 мс
Ryzen 5 3550H · 4 потока · без GPU
выбранные модели и вариантыварианты, с которыми их сравнивалиЦвета те же, что на всех рисунках

Как читать числа

Кропфрагмент фото с одной рыбой: рамка с запасом 12,5 %, вписанная в квадрат. Классификатор работает именно с кропами
Фолд, 5 фолдовнабор поделён на 5 частей (фолдов), серия похожих снимков всегда целиком в одной части. Модель учат на четырёх частях и проверяют на пятой, и так для каждой части по очереди. В итоге каждый кроп оценён моделью, которая его не видела
Фолд 0часть из 2 158 фото, на которой проверяется вся система целиком. Детектор учился только на фолдах 1–4, поэтому честная проверка детектора и всей системы возможна только здесь
Точностьдоля верных ответов
macro-F1F1 считается для каждого вида отдельно и усредняется, так что вид с 14 кропами весит столько же, сколько вид с 1 409
Топ-3доля случаев, когда верный вид входит в три самых вероятных ответа
mAP@0,5основная метрика детектора: средняя точность поиска при условии, что рамка совпадает с разметкой хотя бы наполовину (IoU ≥ 0,5)
NMSудаление повторных рамок вокруг одной рыбы. YOLO26n может работать без этого шага
Малые классы6 видов, у которых меньше 20 серий снимков (14–22 кропа)
FP32 / INT8вычисления в 32-битных числах с плавающей точкой или в 8-битных целых (квантование)

Итоговая система

ШагМодель и режимРазмерВремя, мс
Поиск рыбыYOLO26n, один класс «рыба», без NMS, ONNX FP329,8 МБ64
Определение видаRepViT-M0.9, маленький кроп увеличивается до 256 px, ONNX FP3218,9 МБ19
Ответодин вид; если уверенность модели ниже 0,5, три варианта (верный среди них в 82–85 % таких случаев)
Всегодве модели, только процессор28,7 МБ83

Время: медиана на процессоре AMD Ryzen 5 3550H в обычном режиме, 4 потока. На каждую следующую рыбу на фото добавляется около 20 мс.

1Попробовать на своём фото

Здесь работает та же система, что описана на этой странице: те же две модели и та же подготовка фото. Загрузите фотографию с рыбой. Сервер найдёт на ней рыб, обведёт их рамками и для каждой покажет три самых вероятных вида с вероятностями. Фото нигде не сохраняется: оно хранится в памяти сервера, только пока считается ответ.

Тем же кодом, что работает на сервере, прогнаны все 2 158 фото фолда 0. Точность 0,854, macro-F1 0,795, верный вид среди трёх вариантов в 94 % случаев. Это не хуже, чем при оценке системы (0,849 и 0,784), разница в пределах случайного разброса. Чтобы уложиться в память слабого сервера, фото распаковывается сразу уменьшенным до нужного моделям размера. На ответы это не влияет: по сравнению с полной распаковкой ответ изменился на 2 фото из 2 158, и на обоих он неверен в обоих вариантах.

Что важно знать

  • Система знает только 43 вида (список ниже). Рыбу другого вида она всё равно назовёт одним из них, а на фото без рыбы может найти «рыбу» в похожем предмете.
  • Если модель уверена меньше чем на 50 %, ответ показан как три равноправных варианта. На таких фото первый вариант верен примерно в половине случаев, а верный вид входит в тройку примерно в 8 случаях из 10.
  • Мелкая или далёкая рыба распознаётся хуже: если рыба на фото меньше 128 пикселей по длинной стороне, первый вариант верен лишь примерно в половине случаев.
  • Чаще всего путаются похожие друг на друга виды из двух групп: серебристые карповые (густера, елец, жерех, уклея, лещ, белоглазка и др.) и донные вытянутые пёстрые рыбы (голец, щиповки, бычки, вьюн и др.).
  • На фото с несколькими рыбами определяются до 8 самых заметных. Если рыбы лежат кучей, рамки могут захватывать соседей.
  • Сервер слабый (одно ядро процессора, без видеокарты), фото обрабатываются по очереди. Ответ приходит примерно за полсекунды–секунду, большой файл дольше загружается.

Какие виды знает система

  • Белоглазка Ballerus sapa
  • Быстрянка Alburnoides bipunctatus
  • Бычок западный тупоносый Proterorhinus semilunaris
  • Бычок песочник Neogobius fluviatilis
  • Бычок-гонец Babka gymnotrachelus
  • Вьюн Misgurnus fossilis
  • Голавль Squalius cephalus
  • Голец Barbatula barbatula
  • Гольян обыкновенный Phoxinus phoxinus
  • Густера Blicca bjoerkna
  • Елец Leuciscus leuciscus
  • Ерш обыкновенный Gymnocephalus cernua
  • Жерех Leuciscus aspius
  • Карась золотой Carassius carassius
  • Карась серебряный Carassius gibelio
  • Карп Cyprinus carpio
  • Колюшка девятииглая Pungitius pungitius
  • Колюшка малая южная Pungitius platygaster
  • Колюшка трёхиглая Gasterosteus aculeatus
  • Красноперка Scardinius erythrophthalmus
  • Кумжа Salmo trutta
  • Лещ Abramis brama
  • Линь Tinca tinca
  • Налим Lota lota
  • Окунь Perca fluviatilis
  • Плотва Rutilus rutilus
  • Подкаменщик Cottus gobio
  • Пуголовка звездчатая Benthophilus stellatus
  • Рыба-игла Syngnathus abaster
  • Сом Silurus glanis
  • Сомик американский Ameiurus nebulosus
  • Стерлядь Acipenser ruthenus
  • Судак Sander lucioperca
  • Сырть Vimba vimba
  • Тюлька Clupeonella cultriventris
  • Угорь Anguilla anguilla
  • Уклея Alburnus alburnus
  • Усач обыкновенный днепровский подвид Barbus barbus borysthenicus
  • Чехонь Pelecus cultratus
  • Щиповка балтийская Sabanejewia baltica
  • Щиповка обыкновенная Cobitis taenia
  • Щука Esox lucius
  • Язь Leuciscus idus

2Как устроена система

Детектор находит на фото всех рыб. Каждую рыбу вырезают с запасом 12,5 % и вписывают в квадрат без растяжения, потому что пропорции тела помогают отличать виды. Этот кроп получает классификатор и выдаёт вероятности 43 видов. Пример на реальном фото показан в начале страницы.

Блок-схема двухэтапного конвейера
В итоговой системе работают только две небольшие модели. Большие SAM 3, CLIP и DINOv2 использовались один раз, при подготовке данных.

Два шага вместо одной модели выбраны по трём причинам. На любительском фото рыба часто занимает малую часть кадра, а классификатор по кропу видит рыбу крупно и почти не видит рук, травы и снастей. Детектору с одним классом подходят все фото, включая папки, где сняты рыбы разных видов вместе. Обе модели можно оценивать и заменять по отдельности. Вариант с одной моделью проверен отдельно и проиграл (раздел 8).

3Данные: от папок с фото к обучающему набору

Исходный набор: 11 645 фото, разложенных по 77 папкам видов (12 ГБ). Рамок вокруг рыб не было, встречались повторы и плохие снимки, 22 папки содержали рыб нескольких видов. Большие классы сняты в основном с разрешением 500×375 px, часть классов только камерой на 2 000–3 400 px. Ни один файл не удалялся: решение по каждому фото записано в общую таблицу (манифест) со статусом и причиной, исходная копия не меняется.

Этапы подготовки данных 1–8
Восемь этапов подготовки, каждый в отдельном ноутбуке Colab, с итоговыми числами
ЭтапКакРезультат
1. Копия и манифестнеизменяемая копия на Google Drive, контрольная сумма MD5 каждого файла11 688 файлов на Диске, из них 43 повторные загрузки
2. НормализацияJPEG, цветовое пространство sRGB, поворот по EXIF, латинские имена классовисключено 44 (повторные загрузки и один файл не изображение)
3. Точные дубликатысовпадение MD5; одно фото в папках двух видов разобрано вручнуюисключено 20
4. Почти-дубликатыперцептивный хэш (pHash) и сходство признаков DINOv2; кадры одной серии получают общий номер серииисключено 540; 10 440 серий
5. Качествофлаги CleanVision, резкость и соседи по признакам выбирают кандидатов, решение по каждому принимается вручнуюисключено 83 (нет рыбы, рыба не различима, рисунок, сильный смаз)
Проверка метоклогистическая регрессия на признаках и 10 ближайших соседей ищут фото, подписанные не тем видомисключено 15, перенесено в другой класс 2
6. Классывид остаётся, если у него не меньше 7 серий; формы одного вида объединены43 класса, из них 6 малых
7. РамкиSAM 3 (модель, которая выделяет объекты по текстовому запросу) по запросу «fish»; для пропусков повтор с другими запросами; лишние рамки проверены вручную16 464 рамки на 10 982 фото
8. Кропы и фолдыглавная рыба с запасом 12,5 %, не меньше 64 px; разбиение на 5 фолдов по сериям10 767 кропов

Всего исключено 702 файла (6,0 %). Похожие снимки не попадают в разные фолды: пар со сходством признаков от 0,93 между фолдами нет. Рамки проверены вручную на 200 случайных фото: 98 % без замечаний, 1 % неверная рамка, 1,5 % пропущенная рыба.

Каскад очистки
Сколько фото отсеял каждый шаг. Больше всего ушло на серии почти одинаковых кадров.
Причины исключения
Причины исключения
Распределение по классам
Число фото в каждом из 43 классов: от 1 418 у густеры до 14 у язя. Малые классы выделены.
Коллаж: по примеру каждого вида
По одному примеру каждого из 43 видов (нажмите, чтобы увеличить)

Остальные рисунки о данных

Размер фото по длинной стороне; граница 640 px равна входу детектора
Размер кропов по длинной стороне
Где в кадре центры рамок рыб
Площадь рамки относительно кадра
Число рыб на фото; 344 фото с кучей рыб
Резкость фото (дисперсия лапласиана)
Средняя яркость фото
Кропы каждого вида по 5 фолдам; цвет показывает отклонение от 20 %
Схема проверки на 5 фолдах с группировкой по сериям снимков
Искажения одного кропа при обучении классификатора (аугментации)

4Детектор: YOLO26n

YOLO26n, предобученная на наборе COCO, дообучена на один класс «рыба». Обучение на фолдах 1–4 (8 752 фото, 13 329 рамок), проверка на фолде 0 (2 191 фото, 3 135 рыб). Вход 640 px, 100 эпох, лучшая 90-я. Для сравнения взята готовая модель того же размера yolov8n-oiv7, обученная на Open Images, где есть класс Fish. Метрики считает собственный код, сверенный с эталонной библиотекой pycocotools.

Модель (фолд 0)mAP@0,5mAP@0,5:0,95ТочностьПолнота
yolov8n-oiv7, класс Fish, без дообучения0,4800,3080,6780,434
YOLO26n, с NMS0,9230,8050,9480,849
YOLO26n, без NMS (режим итоговой системы)0,9180,8000,9260,849
Группа фото (YOLO26n без NMS / yolov8n-oiv7)ФотоmAP@0,5mAP@0,5:0,95
без куч2 1260,951 / 0,5380,866 / 0,354
кучи рыб (5 и больше на фото)650,787 / 0,3200,563 / 0,171
фото до 640 px1 7020,913 / 0,4880,801 / 0,302
фото крупнее 640 px4890,931 / 0,4620,798 / 0,326

Классификатору нужна главная рыба на фото. Самая уверенная рамка детектора совпадает с ней на 94,5 % фото фолда 0, а рамка, перекрывающая главную рыбу хотя бы наполовину, находится в 97,2 % случаев. Без NMS качество почти то же (−0,005 mAP), а обработка ответа проще, поэтому в итоговой системе выбран этот режим.

Дообученная модель против готовой по группам фото
Кривые точность–полнота при трёх порогах IoU
Примеры работы детектора
Примеры на фолде 0: удачные случаи, пропуски и лишняя рамка

Остальные рисунки о детекторе

Потери рамок по эпохам
Потери класса по эпохам
mAP на проверке по эпохам; после 90-й эпохи рост прекращается
F1 в зависимости от порога уверенности
То же сравнение с готовой моделью по mAP@0,5:0,95

5Классификатор: выбор из трёх небольших моделей

Сравнивались три модели по 4–5 млн параметров из библиотеки timm, предобученные на ImageNet. Каждая обучена 5 раз, по разу на каждый фолд, всего 15 обучений. Настройки одинаковые: вход 224 px, 30 эпох, оптимизатор AdamW с косинусным расписанием шага, сглаживание меток 0,1. Против дисбаланса классов вес каждого вида в функции потерь обратно пропорционален корню из числа его кропов. Берётся модель после последней эпохи: отдельной тестовой части нет, и выбор лучшей эпохи по проверке завысил бы результат.

Модель (5 фолдов, 10 767 кропов)Точностьmacro-F1Топ-3macro-F1 по фолдаммс/кропПараметры
MobileNetV3-Large0,8210,7780,9150,726–0,80117,54,26 млн
EfficientNet-B00,8310,7890,9230,749–0,80840,74,06 млн
RepViT-M0.9, первая версия0,8580,8340,9400,802–0,85263,94,75 млн
RepViT-M0.9, итоговая (маленький кроп увеличивается до 256 px)0,8630,8360,9480,792–0,85263,94,75 млн

Время: ноутбук, ONNX Runtime, 1 поток на фиксированной частоте 2,1 ГГц. RepViT лучше двух других моделей на каждом из пяти фолдов, поэтому выбрана она. В системе её время меньше четверти общего. Чем итоговая версия отличается от первой, описано в разделе 8, «Маленькие кропы».

Три модели по трём метрикам; планка показывает разброс по фолдам
Качество против времени на кроп. RepViT медленнее, но выигрывает 4,5 пункта macro-F1.

Где модель сильнее и слабее (RepViT-M0.9, первая версия)

Группа кроповКроповТочностьmacro-F1
с фото до 640 px8 5060,8460,744
с фото крупнее 640 px2 2610,9010,853
одна рыба на фото9 6870,8750,847
несколько рыб на фото1 0800,7040,717
малые классы (6 видов)1010,8020,848
Вероятность самого вероятного видаКроповТочность
ниже 0,52 248 (21 %)0,532 (верный вид в тройке 0,823)
0,5–0,87 0270,934
0,8 и выше1 4920,987

По уверенности модели хорошо видно, какому ответу можно верить. Поэтому в итоговой системе при уверенности ниже 0,5 показываются три варианта. Сами вероятности занижены: так действует сглаживание меток при обучении.

F1 по каждому виду. Лучшие: пуголовка 1,00, колюшка трёхиглая 0,98, плотва 0,97. Слабее всех белоглазка 0,55.
Доля кропов, где верный вид среди k лучших ответов: 0,858, 0,923 и 0,940 для k = 1, 2, 3

Остальные рисунки о классификаторе

Потери на обучении (среднее и разброс по 5 фолдам)
Точность на проверке по эпохам; к 16–30-й эпохе рост прекращается
macro-F1 на проверке по эпохам
Уверенность при верных и ошибочных ответах
Калибровка: модель уверена в ответе меньше, чем следовало бы
F1 вида и число его кропов (ранговая корреляция Спирмена)

6Сквозная оценка: детектор и классификатор вместе

Проверка в тех же условиях, в каких будет работать система: на каждом из 2 158 фото фолда 0 берётся самая уверенная рамка детектора (уверенность от 0,25), из неё вырезается кроп и передаётся классификатору. Обе модели этих фото не видели. Фото, где детектор ничего не нашёл, считается ошибкой.

Классификатор (фолд 0)Кропы по ручным рамкамКропы по рамкам детектораРамка на главной рыбеРамка на другой рыбе
MobileNetV3-Large0,816 / 0,7260,809 / 0,7300,8290,573
EfficientNet-B00,830 / 0,7490,819 / 0,7640,8370,635
RepViT-M0.9, первая версия0,858 / 0,8020,854 / 0,8060,8720,677
RepViT-M0.9, итоговая0,849 / 0,784

Точность / macro-F1; в двух правых столбцах точность. Рамка детектора на главной рыбе у 2 039 фото, на другой рыбе у 96, рамки нет у 23.

Детектор отнимает у системы всего 0,4 пункта точности по сравнению с идеальными ручными рамками. Учить классификатор на сдвинутых рамках имело бы смысл при потере от 2–3 пунктов, так что это не понадобилось. У итоговой версии классификатора на фолде 0 macro-F1 ниже на 2,2 пункта; почему это шум, а не ухудшение, разобрано в разделе 8, «Маленькие кропы».

7Разбор ошибок: кого с кем путает модель

Из 1 532 ошибок RepViT 926 (60 %) приходятся на виды из того же семейства: если засчитывать верное семейство, точность 0,944. Ошибки собираются в две группы внешне похожих рыб, и облик здесь важнее родства: тюлька из сельдевых путается с уклеей, бычки с вьюновыми.

Группа видов, которые путаютсяВидовКроповОшибокВнутри группы
серебристые карповые: густера, елец, жерех, уклея, быстрянка, сырть, чехонь, лещ, белоглазка, тюлька104 40579079 %
донные вытянутые пёстрые: голец, щиповки, бычки, вьюн, судак, сом, стерлядь103 48949679 %

На эти две группы приходится 84 % всех ошибок. 18 видов почти ни с кем не путаются (щука, окунь, ёрш, плотва, линь, налим, колюшки и другие). Самые близкие родственники разделяются хорошо: щиповка обыкновенная и балтийская дают 3 ошибки на 494 кропа, три вида колюшек 1 ошибку на 157. Ошибки несимметричны: малый вид уходит в большой похожий, обратно почти никогда. Белоглазку модель в 36 случаях из 73 называет густерой, а густеру белоглазкой только 7 раз из 1 409.

Истинный вид → ответ моделиОшибокДоля кропов видаТак же ошиблись все 3 модели
жерех → елец588 %35
щиповка обыкновенная → голец5512 %21
бычок западный тупоносый → голец5415 %19
елец → уклея537 %19
уклея → елец477 %14
белоглазка → густера3649 %28
Матрица ошибок 43×43
Матрица ошибок 43×43, часто путаемые виды стоят рядом. Два плотных блока у диагонали и есть две группы из таблицы.
15 самых частых ошибок; цвет показывает, одно семейство или разные

На что смотрит модель (Grad-CAM)

Grad-CAM показывает, какие места изображения сильнее всего повлияли на ответ. При верных ответах это тело рыбы: чешуя, полосы окуня, пятна щуки. Руки, трава и лица на фоне почти не участвуют, то есть вид определяется не по фону. При ошибках модель тоже смотрит на рыбу, но находит признаки похожего вида, а истинному виду даёт всего 0,1–5 %.

Grad-CAM, верные ответы
Верные уверенные ответы, 12 видов
Grad-CAM, ошибки
Ошибки в частых парах: кроп, карта за неверный ответ, карта за истинный вид

Остальные рисунки об ошибках

Уверенные ошибки в шести самых частых парах
Карта признаков кропов (t-SNE): три крупнейших класса цветом
Карта признаков: жерех и елец
Карта признаков: щиповка и голец
Карта признаков: бычок и голец
Карта признаков: елец и уклея
Карта признаков: белоглазка и густера
Карта признаков: густера и елец

8Эксперименты

Детектор и выбор классификатора описаны выше. Здесь отдельные проверки: можно ли обойтись одной моделью, много ли ошибок в разметке, не подсказывает ли вид качество снимка, как быть с маленькими кропами и даёт ли что-нибудь квантование.

Одна модель вместо двух

Что, если одна YOLO26n сразу ищет рыбу и называет её вид из 43? Обучение и проверка те же, что у детектора, сравнение на тех же 2 158 фото фолда 0.

Группа фотоФотоДетектор + классификаторОдна модель
все фото2 1580,854 / 0,8060,831 / 0,787
фото до 640 px1 6880,850 / 0,7860,828 / 0,724
фото крупнее 640 px4700,866 / 0,8220,845 / 0,819
несколько рыб на фото1980,763 / 0,7620,788 / 0,792
малые классы230,609 / 0,7050,478 / 0,642

Точность / macro-F1. Тест Макнемара на тех же фото даёт χ² = 7,8 при пороге 3,84, то есть разница значима. Сильнее всего одна модель проигрывает на мелких фото и малых видах: она определяет вид по всему кадру 640 px, а классификатор видит рыбу крупно. Плюсы одной модели: один файл на 9,9 МБ, работа на 27–28 % быстрее (215 против 277 мс в один поток) и чуть лучший результат на фото с несколькими рыбами. Ни один из 8 её вариантов (разные веса, с NMS и без, разные пороги) не догнал две модели по macro-F1. В итоговой системе оставлены две модели.

macro-F1 по группам фото
Таблица согласия ответов для теста Макнемара

Остальные рисунки

Точность по группам фото
F1 по видам у двух подходов
Все 8 вариантов одной модели против двух моделей
Потери рамок по эпохам
Потери класса по эпохам
mAP с учётом вида по эпохам

Ошибки в разметке (cleanlab)

Сколько кропов подписаны не тем видом? Библиотека cleanlab ищет подозрительные метки по вероятностям, которые три модели дали кропам, не виденным при обучении. Сверху добавлено строгое правило: все три модели называют один и тот же другой вид, каждая с вероятностью от 0,5.

Ступень отбораКропов
все кропы10 767
ошибки RepViT1 532
отмечены cleanlab по среднему трёх моделей280
и все три модели называют один и тот же другой вид216
и каждая уверена от 0,5 (строгое правило)74 (0,7 %)

Малые классы не затронуты. Подозрительные пары совпадают с частыми ошибками классификатора (жерех → елец 15, белоглазка → густера 9). Часть случаев больше похожа на ошибки моделей, чем на неверные подписи (ёрш → судак, окунь → голец). Поэтому кропы не исключались: точность выросла бы не больше чем на полпункта (0,858 → 0,864), а белоглазка потеряла бы 9 примеров из 73.

Не узнаёт ли модель вид по качеству снимка

19 видов есть только на крупных камерных фото. Может быть, модель запоминает резкость и разрешение вместо самой рыбы? Чтобы проверить, кропы с крупных фото искусственно ухудшили до уровня мелких и сравнили, насколько упала точность у двух групп видов.

Группа видов (RepViT, точность)КроповИсходныеУменьшены, JPEG 95Падение, пункты
виды только с крупных фото1 2040,9140,899−1,5
виды с фото обоих типов (контроль)4720,9220,905−1,7

Падение одинаковое. Если бы модель узнавала вид по признакам источника, у первой группы оно было бы заметно больше. Кроме того, в 12 видах, где есть оба типа фото, крупные снимки распознаются лучше во всех 12: качество снимка помогает модели разглядеть рыбу, а не подсказывает вид.

Точность на кропах с крупных фото при искусственном ухудшении. Вариант «весь кадр уменьшен до 500 px» рушит все виды; это отдельная проблема, ей посвящена следующая проверка.

Маленькие кропы

Если крупное фото уменьшить целиком до 500 px, рыба на нём становится маленькой, и первая версия RepViT угадывает вид только в 13 % случаев. Исправление: кроп меньше 256 px увеличивается до 256, а 30 % картинок при обучении уменьшаются и увеличиваются обратно. Правило, по которому новую модель примут или отклонят, было записано до запуска. На рисунках новая модель подписана «I-020».

Группа кропов (точность)КроповПервая версияНоваяРазница, пункты
все кропы, 5 фолдов10 7670,8580,863+0,5
кроп меньше 128 px1650,4550,564+10,9
кроп 128–192 px4060,6210,680+5,9
кроп от 256 px9 4650,8810,880−0,1
весь кадр уменьшен до 500 px2 0000,1310,744+61,3
вся система на фолде 0, macro-F12 1580,8060,784−2,2

По заранее записанному правилу новая модель не прошла: macro-F1 всей системы на фолде 0 упал больше допустимых 0,5 пункта. Дополнительная проверка показала, что это шум малых видов. Разницу дают 5 видов по 3–10 фото, и у трёх из них, если считать по всем пяти фолдам вместе, новая модель лучше. По всем кропам (бутстреп по сериям, 95 %) точность выросла на 0,47 пункта, macro-F1 на 0,17 (модели равны), доля верного вида в тройке на 0,80 пункта, и этот рост значим. Тест Макнемара по всем кропам разницы не нашёл (χ² = 2,7). В итоговую систему взята новая модель.

Точность по размеру кропа
macro-F1 по группам кропов

ONNX и квантование INT8

Сохраняют ли модели точность при переносе в ONNX Runtime, на котором будет работать система? Ускоряет ли их квантование в 8-битные целые числа на обычном процессоре?

Перенос в ONNX потерь не даёт: система даёт 0,853 / 0,805 против 0,854 / 0,806 в PyTorch. Детектор в INT8 почти не теряет: главная рыба найдена на 2 019 фото против 2 038. Все три классификатора в INT8 ломаются: точность падает до 0,37–0,50 вместо 0,82–0,86.

Вариант INT8 для RepViT (фолд 0)Совпадение ответов с FP32ТочностьПотеря, пункты
FP321,0000,8610
стандартная калибровка (MinMax)0,4990,475−38,7
только веса в INT80,9850,859−0,2
только промежуточные значения в INT80,3230,307−55,4
калибровка по 99,9-му перцентилю0,8270,768−9,3
то же, 15 самых чувствительных слоёв в FP32 (лучший вариант)0,8490,786−7,5

Модель ломают промежуточные значения (активации), а не веса. В классификаторах есть отдельные каналы, где значения доходят до сотен, тогда как в остальных они порядка единицы. Шаг квантования один на весь тензор и подстраивается под эти выбросы, поэтому обычные каналы огрубляются до 1–3 уровней. Ошибка копится от слоя к слою по всей сети, и перевод отдельных слоёв обратно в FP32 помогает мало. У детектора таких выбросов нет. К тому же у процессора ноутбука нет инструкций VNNI, ускоряющих 8-битные вычисления, и INT8 на нём медленнее FP32 у всех моделей. Поэтому итоговая система работает в FP32, а дообучение с учётом квантования не понадобилось.

16 вариантов квантования RepViT против FP32
Отношение сигнал/шум по слоям: накопленная ошибка доходит до уровня самого сигнала
Точность FP32 и INT8 для трёх классификаторов и всей системы
Время FP32 и INT8 на ноутбуке: INT8 медленнее

9Скорость на ноутбуке

Замер на ноутбуке с процессором AMD Ryzen 5 3550H без видеокарты, ONNX Runtime, медиана повторов. Для сравнения моделей частота процессора зафиксирована на 2,1 ГГц, тогда повторы расходятся не больше чем на 1 %. Обычный режим без фиксации частоты дан для ориентира.

Модель, мсМБ1 поток3 потокаОбычный режим, 4 потока
YOLO26n, детектор, FP329,8212,780,064,1
YOLO26n, детектор, INT83,0262,3115,496,8
RepViT-M0.9, FP3218,963,923,118,8
RepViT-M0.9, INT85,589,941,537,6
EfficientNet-B0, FP3216,240,715,813,9
MobileNetV3-Large, FP3217,017,57,06,0
Итоговая система: детектор + RepViT, FP3228,7276,6103,182,9
Одна модель вместо двух, FP329,9215,381,265,0

Детектор занимает около 77 % времени системы. INT8 медленнее FP32 у всех моделей: на 23–56 % в один поток.

Время на одно фото: детектор с классификатором против одной модели

10Ограничения

  • У 6 малых видов по 14–22 кропа, и в отдельном фолде у некоторых всего одна серия снимков. Их метрики неустойчивы.
  • Отдельной тестовой выборки нет: итоговые числа получены проверкой на 5 фолдах с группировкой по сериям. Чтобы не завышать результат, лучшая эпоха не выбиралась.
  • Детектор обучен на фолдах 1–4, поэтому честная оценка всей системы есть только на фолде 0 (2 158 фото).
  • Метки видов специалист не проверял. Грубые ошибки убраны, по оценке cleanlab под подозрением остаются 74 кропа (0,7 %).
  • Источник фото связан с видом: 19 видов есть только на крупных камерных снимках. Проверка из раздела 8 не нашла, что модель узнаёт вид по качеству снимка, но для этих видов полностью такую возможность не исключает.
  • Фото с несколькими рыбами распознаются хуже (0,70 против 0,88). Кропы меньше 128 px остаются слабым местом (0,56).
  • Скорость мерилась на одном ноутбуке. На процессоре с VNNI или на телефоне выводы про INT8 могут быть другими.

11Воспроизводимость

  • 20 ноутбуков Google Colab, по одному на этап. Обучение на видеокартах Colab (T4 и L4), замеры скорости и разбор INT8 на процессоре AMD Ryzen 5 3550H. Каждый ноутбук можно перезапустить без побочных эффектов.
  • Исходные данные не менялись. Решение по каждому фото лежит в манифесте с причиной, все решения по ходу работы записаны с обоснованием в журнал (37 записей).
  • У каждого из 63 рисунков свой скрипт. Он берёт сохранённые результаты и пересобирает рисунок без запуска моделей.
  • Инструменты: Ultralytics 8.4.211, timm 1.0.31, PyTorch 2.14, ONNX Runtime 1.32, cleanlab 2.9, SAM 3, DINOv2, CLIP.