Распознавание вида рыбы по любительской фотографии
Система получает любительскую фотографию (рыба в руках, на берегу, в лодке, на траве) и определяет вид каждой рыбы на снимке. Всего 43 вида пресноводных рыб. Работа идёт в два шага: первая нейросеть, детектор YOLO26n, находит рыб на фото и обводит их рамками; вторая, классификатор RepViT-M0.9, определяет вид по вырезанному фрагменту. Обе сети небольшие (около 10 и 19 МБ) и работают на обычном процессоре, видеокарта не нужна.
Реальное фото, которого модели не видели при обучении: рамка детектора, вырезанный фрагмент в квадрате, три самых вероятных вида
Видов рыб
43
10 767 кропов · дисбаланс 100 : 1
mAP@0,5 детектора
0,92
фолд 0 · готовая модель 0,48
Точность классификатора
0,863
5 фолдов · macro-F1 0,836
Верный вид среди трёх вариантов
0,948
5 фолдов · 10 767 кропов
Точность всей системы
0,85
фолд 0 · 2 158 новых фото
Время на одно фото
83 мс
Ryzen 5 3550H · 4 потока · без GPU
выбранные модели и вариантыварианты, с которыми их сравнивалиЦвета те же, что на всех рисунках
Как читать числа
Кроп
фрагмент фото с одной рыбой: рамка с запасом 12,5 %, вписанная в квадрат. Классификатор работает именно с кропами
Фолд, 5 фолдов
набор поделён на 5 частей (фолдов), серия похожих снимков всегда целиком в одной части. Модель учат на четырёх частях и проверяют на пятой, и так для каждой части по очереди. В итоге каждый кроп оценён моделью, которая его не видела
Фолд 0
часть из 2 158 фото, на которой проверяется вся система целиком. Детектор учился только на фолдах 1–4, поэтому честная проверка детектора и всей системы возможна только здесь
Точность
доля верных ответов
macro-F1
F1 считается для каждого вида отдельно и усредняется, так что вид с 14 кропами весит столько же, сколько вид с 1 409
Топ-3
доля случаев, когда верный вид входит в три самых вероятных ответа
mAP@0,5
основная метрика детектора: средняя точность поиска при условии, что рамка совпадает с разметкой хотя бы наполовину (IoU ≥ 0,5)
NMS
удаление повторных рамок вокруг одной рыбы. YOLO26n может работать без этого шага
Малые классы
6 видов, у которых меньше 20 серий снимков (14–22 кропа)
FP32 / INT8
вычисления в 32-битных числах с плавающей точкой или в 8-битных целых (квантование)
Итоговая система
Шаг
Модель и режим
Размер
Время, мс
Поиск рыбы
YOLO26n, один класс «рыба», без NMS, ONNX FP32
9,8 МБ
64
Определение вида
RepViT-M0.9, маленький кроп увеличивается до 256 px, ONNX FP32
18,9 МБ
19
Ответ
один вид; если уверенность модели ниже 0,5, три варианта (верный среди них в 82–85 % таких случаев)
Всего
две модели, только процессор
28,7 МБ
83
Время: медиана на процессоре AMD Ryzen 5 3550H в обычном режиме, 4 потока. На каждую следующую рыбу на фото добавляется около 20 мс.
1Попробовать на своём фото
Здесь работает та же система, что описана на этой странице: те же две модели и та же подготовка фото. Загрузите фотографию с рыбой. Сервер найдёт на ней рыб, обведёт их рамками и для каждой покажет три самых вероятных вида с вероятностями. Фото нигде не сохраняется: оно хранится в памяти сервера, только пока считается ответ.
Тем же кодом, что работает на сервере, прогнаны все 2 158 фото фолда 0. Точность 0,854, macro-F1 0,795, верный вид среди трёх вариантов в 94 % случаев. Это не хуже, чем при оценке системы (0,849 и 0,784), разница в пределах случайного разброса. Чтобы уложиться в память слабого сервера, фото распаковывается сразу уменьшенным до нужного моделям размера. На ответы это не влияет: по сравнению с полной распаковкой ответ изменился на 2 фото из 2 158, и на обоих он неверен в обоих вариантах.
Нет фото под рукой? Попробуйте снимки из проверочной части набора (фолд 0). Модели их не видели при обучении:
Что важно знать
Система знает только 43 вида (список ниже). Рыбу другого вида она всё равно назовёт одним из них, а на фото без рыбы может найти «рыбу» в похожем предмете.
Если модель уверена меньше чем на 50 %, ответ показан как три равноправных варианта. На таких фото первый вариант верен примерно в половине случаев, а верный вид входит в тройку примерно в 8 случаях из 10.
Мелкая или далёкая рыба распознаётся хуже: если рыба на фото меньше 128 пикселей по длинной стороне, первый вариант верен лишь примерно в половине случаев.
Чаще всего путаются похожие друг на друга виды из двух групп: серебристые карповые (густера, елец, жерех, уклея, лещ, белоглазка и др.) и донные вытянутые пёстрые рыбы (голец, щиповки, бычки, вьюн и др.).
На фото с несколькими рыбами определяются до 8 самых заметных. Если рыбы лежат кучей, рамки могут захватывать соседей.
Сервер слабый (одно ядро процессора, без видеокарты), фото обрабатываются по очереди. Ответ приходит примерно за полсекунды–секунду, большой файл дольше загружается.
Детектор находит на фото всех рыб. Каждую рыбу вырезают с запасом 12,5 % и вписывают в квадрат без растяжения, потому что пропорции тела помогают отличать виды. Этот кроп получает классификатор и выдаёт вероятности 43 видов. Пример на реальном фото показан в начале страницы.
В итоговой системе работают только две небольшие модели. Большие SAM 3, CLIP и DINOv2 использовались один раз, при подготовке данных.
Два шага вместо одной модели выбраны по трём причинам. На любительском фото рыба часто занимает малую часть кадра, а классификатор по кропу видит рыбу крупно и почти не видит рук, травы и снастей. Детектору с одним классом подходят все фото, включая папки, где сняты рыбы разных видов вместе. Обе модели можно оценивать и заменять по отдельности. Вариант с одной моделью проверен отдельно и проиграл (раздел 8).
3Данные: от папок с фото к обучающему набору
Исходный набор: 11 645 фото, разложенных по 77 папкам видов (12 ГБ). Рамок вокруг рыб не было, встречались повторы и плохие снимки, 22 папки содержали рыб нескольких видов. Большие классы сняты в основном с разрешением 500×375 px, часть классов только камерой на 2 000–3 400 px. Ни один файл не удалялся: решение по каждому фото записано в общую таблицу (манифест) со статусом и причиной, исходная копия не меняется.
Восемь этапов подготовки, каждый в отдельном ноутбуке Colab, с итоговыми числами
Этап
Как
Результат
1. Копия и манифест
неизменяемая копия на Google Drive, контрольная сумма MD5 каждого файла
11 688 файлов на Диске, из них 43 повторные загрузки
2. Нормализация
JPEG, цветовое пространство sRGB, поворот по EXIF, латинские имена классов
исключено 44 (повторные загрузки и один файл не изображение)
3. Точные дубликаты
совпадение MD5; одно фото в папках двух видов разобрано вручную
исключено 20
4. Почти-дубликаты
перцептивный хэш (pHash) и сходство признаков DINOv2; кадры одной серии получают общий номер серии
исключено 540; 10 440 серий
5. Качество
флаги CleanVision, резкость и соседи по признакам выбирают кандидатов, решение по каждому принимается вручную
исключено 83 (нет рыбы, рыба не различима, рисунок, сильный смаз)
Проверка меток
логистическая регрессия на признаках и 10 ближайших соседей ищут фото, подписанные не тем видом
исключено 15, перенесено в другой класс 2
6. Классы
вид остаётся, если у него не меньше 7 серий; формы одного вида объединены
43 класса, из них 6 малых
7. Рамки
SAM 3 (модель, которая выделяет объекты по текстовому запросу) по запросу «fish»; для пропусков повтор с другими запросами; лишние рамки проверены вручную
16 464 рамки на 10 982 фото
8. Кропы и фолды
главная рыба с запасом 12,5 %, не меньше 64 px; разбиение на 5 фолдов по сериям
10 767 кропов
Всего исключено 702 файла (6,0 %). Похожие снимки не попадают в разные фолды: пар со сходством признаков от 0,93 между фолдами нет. Рамки проверены вручную на 200 случайных фото: 98 % без замечаний, 1 % неверная рамка, 1,5 % пропущенная рыба.
Сколько фото отсеял каждый шаг. Больше всего ушло на серии почти одинаковых кадров.Причины исключения
Число фото в каждом из 43 классов: от 1 418 у густеры до 14 у язя. Малые классы выделены.По одному примеру каждого из 43 видов (нажмите, чтобы увеличить)
Остальные рисунки о данных
Размер фото по длинной стороне; граница 640 px равна входу детектораРазмер кропов по длинной сторонеГде в кадре центры рамок рыбПлощадь рамки относительно кадраЧисло рыб на фото; 344 фото с кучей рыбРезкость фото (дисперсия лапласиана)Средняя яркость фотоКропы каждого вида по 5 фолдам; цвет показывает отклонение от 20 %Схема проверки на 5 фолдах с группировкой по сериям снимковИскажения одного кропа при обучении классификатора (аугментации)
4Детектор: YOLO26n
YOLO26n, предобученная на наборе COCO, дообучена на один класс «рыба». Обучение на фолдах 1–4 (8 752 фото, 13 329 рамок), проверка на фолде 0 (2 191 фото, 3 135 рыб). Вход 640 px, 100 эпох, лучшая 90-я. Для сравнения взята готовая модель того же размера yolov8n-oiv7, обученная на Open Images, где есть класс Fish. Метрики считает собственный код, сверенный с эталонной библиотекой pycocotools.
Модель (фолд 0)
mAP@0,5
mAP@0,5:0,95
Точность
Полнота
yolov8n-oiv7, класс Fish, без дообучения
0,480
0,308
0,678
0,434
YOLO26n, с NMS
0,923
0,805
0,948
0,849
YOLO26n, без NMS (режим итоговой системы)
0,918
0,800
0,926
0,849
Группа фото (YOLO26n без NMS / yolov8n-oiv7)
Фото
mAP@0,5
mAP@0,5:0,95
без куч
2 126
0,951 / 0,538
0,866 / 0,354
кучи рыб (5 и больше на фото)
65
0,787 / 0,320
0,563 / 0,171
фото до 640 px
1 702
0,913 / 0,488
0,801 / 0,302
фото крупнее 640 px
489
0,931 / 0,462
0,798 / 0,326
Классификатору нужна главная рыба на фото. Самая уверенная рамка детектора совпадает с ней на 94,5 % фото фолда 0, а рамка, перекрывающая главную рыбу хотя бы наполовину, находится в 97,2 % случаев. Без NMS качество почти то же (−0,005 mAP), а обработка ответа проще, поэтому в итоговой системе выбран этот режим.
Дообученная модель против готовой по группам фотоКривые точность–полнота при трёх порогах IoU
Примеры на фолде 0: удачные случаи, пропуски и лишняя рамка
Остальные рисунки о детекторе
Потери рамок по эпохамПотери класса по эпохамmAP на проверке по эпохам; после 90-й эпохи рост прекращаетсяF1 в зависимости от порога уверенностиТо же сравнение с готовой моделью по mAP@0,5:0,95
5Классификатор: выбор из трёх небольших моделей
Сравнивались три модели по 4–5 млн параметров из библиотеки timm, предобученные на ImageNet. Каждая обучена 5 раз, по разу на каждый фолд, всего 15 обучений. Настройки одинаковые: вход 224 px, 30 эпох, оптимизатор AdamW с косинусным расписанием шага, сглаживание меток 0,1. Против дисбаланса классов вес каждого вида в функции потерь обратно пропорционален корню из числа его кропов. Берётся модель после последней эпохи: отдельной тестовой части нет, и выбор лучшей эпохи по проверке завысил бы результат.
Модель (5 фолдов, 10 767 кропов)
Точность
macro-F1
Топ-3
macro-F1 по фолдам
мс/кроп
Параметры
MobileNetV3-Large
0,821
0,778
0,915
0,726–0,801
17,5
4,26 млн
EfficientNet-B0
0,831
0,789
0,923
0,749–0,808
40,7
4,06 млн
RepViT-M0.9, первая версия
0,858
0,834
0,940
0,802–0,852
63,9
4,75 млн
RepViT-M0.9, итоговая (маленький кроп увеличивается до 256 px)
0,863
0,836
0,948
0,792–0,852
63,9
4,75 млн
Время: ноутбук, ONNX Runtime, 1 поток на фиксированной частоте 2,1 ГГц. RepViT лучше двух других моделей на каждом из пяти фолдов, поэтому выбрана она. В системе её время меньше четверти общего. Чем итоговая версия отличается от первой, описано в разделе 8, «Маленькие кропы».
Три модели по трём метрикам; планка показывает разброс по фолдамКачество против времени на кроп. RepViT медленнее, но выигрывает 4,5 пункта macro-F1.
Где модель сильнее и слабее (RepViT-M0.9, первая версия)
Группа кропов
Кропов
Точность
macro-F1
с фото до 640 px
8 506
0,846
0,744
с фото крупнее 640 px
2 261
0,901
0,853
одна рыба на фото
9 687
0,875
0,847
несколько рыб на фото
1 080
0,704
0,717
малые классы (6 видов)
101
0,802
0,848
Вероятность самого вероятного вида
Кропов
Точность
ниже 0,5
2 248 (21 %)
0,532 (верный вид в тройке 0,823)
0,5–0,8
7 027
0,934
0,8 и выше
1 492
0,987
По уверенности модели хорошо видно, какому ответу можно верить. Поэтому в итоговой системе при уверенности ниже 0,5 показываются три варианта. Сами вероятности занижены: так действует сглаживание меток при обучении.
F1 по каждому виду. Лучшие: пуголовка 1,00, колюшка трёхиглая 0,98, плотва 0,97. Слабее всех белоглазка 0,55.Доля кропов, где верный вид среди k лучших ответов: 0,858, 0,923 и 0,940 для k = 1, 2, 3
Остальные рисунки о классификаторе
Потери на обучении (среднее и разброс по 5 фолдам)Точность на проверке по эпохам; к 16–30-й эпохе рост прекращаетсяmacro-F1 на проверке по эпохамУверенность при верных и ошибочных ответахКалибровка: модель уверена в ответе меньше, чем следовало быF1 вида и число его кропов (ранговая корреляция Спирмена)
6Сквозная оценка: детектор и классификатор вместе
Проверка в тех же условиях, в каких будет работать система: на каждом из 2 158 фото фолда 0 берётся самая уверенная рамка детектора (уверенность от 0,25), из неё вырезается кроп и передаётся классификатору. Обе модели этих фото не видели. Фото, где детектор ничего не нашёл, считается ошибкой.
Классификатор (фолд 0)
Кропы по ручным рамкам
Кропы по рамкам детектора
Рамка на главной рыбе
Рамка на другой рыбе
MobileNetV3-Large
0,816 / 0,726
0,809 / 0,730
0,829
0,573
EfficientNet-B0
0,830 / 0,749
0,819 / 0,764
0,837
0,635
RepViT-M0.9, первая версия
0,858 / 0,802
0,854 / 0,806
0,872
0,677
RepViT-M0.9, итоговая
0,849 / 0,784
Точность / macro-F1; в двух правых столбцах точность. Рамка детектора на главной рыбе у 2 039 фото, на другой рыбе у 96, рамки нет у 23.
Детектор отнимает у системы всего 0,4 пункта точности по сравнению с идеальными ручными рамками. Учить классификатор на сдвинутых рамках имело бы смысл при потере от 2–3 пунктов, так что это не понадобилось. У итоговой версии классификатора на фолде 0 macro-F1 ниже на 2,2 пункта; почему это шум, а не ухудшение, разобрано в разделе 8, «Маленькие кропы».
7Разбор ошибок: кого с кем путает модель
Из 1 532 ошибок RepViT 926 (60 %) приходятся на виды из того же семейства: если засчитывать верное семейство, точность 0,944. Ошибки собираются в две группы внешне похожих рыб, и облик здесь важнее родства: тюлька из сельдевых путается с уклеей, бычки с вьюновыми.
На эти две группы приходится 84 % всех ошибок. 18 видов почти ни с кем не путаются (щука, окунь, ёрш, плотва, линь, налим, колюшки и другие). Самые близкие родственники разделяются хорошо: щиповка обыкновенная и балтийская дают 3 ошибки на 494 кропа, три вида колюшек 1 ошибку на 157. Ошибки несимметричны: малый вид уходит в большой похожий, обратно почти никогда. Белоглазку модель в 36 случаях из 73 называет густерой, а густеру белоглазкой только 7 раз из 1 409.
Истинный вид → ответ модели
Ошибок
Доля кропов вида
Так же ошиблись все 3 модели
жерех → елец
58
8 %
35
щиповка обыкновенная → голец
55
12 %
21
бычок западный тупоносый → голец
54
15 %
19
елец → уклея
53
7 %
19
уклея → елец
47
7 %
14
белоглазка → густера
36
49 %
28
Матрица ошибок 43×43, часто путаемые виды стоят рядом. Два плотных блока у диагонали и есть две группы из таблицы.15 самых частых ошибок; цвет показывает, одно семейство или разные
На что смотрит модель (Grad-CAM)
Grad-CAM показывает, какие места изображения сильнее всего повлияли на ответ. При верных ответах это тело рыбы: чешуя, полосы окуня, пятна щуки. Руки, трава и лица на фоне почти не участвуют, то есть вид определяется не по фону. При ошибках модель тоже смотрит на рыбу, но находит признаки похожего вида, а истинному виду даёт всего 0,1–5 %.
Верные уверенные ответы, 12 видовОшибки в частых парах: кроп, карта за неверный ответ, карта за истинный вид
Остальные рисунки об ошибках
Уверенные ошибки в шести самых частых парахКарта признаков кропов (t-SNE): три крупнейших класса цветомКарта признаков: жерех и елецКарта признаков: щиповка и голецКарта признаков: бычок и голецКарта признаков: елец и уклеяКарта признаков: белоглазка и густераКарта признаков: густера и елец
8Эксперименты
Детектор и выбор классификатора описаны выше. Здесь отдельные проверки: можно ли обойтись одной моделью, много ли ошибок в разметке, не подсказывает ли вид качество снимка, как быть с маленькими кропами и даёт ли что-нибудь квантование.
Одна модель вместо двух
Что, если одна YOLO26n сразу ищет рыбу и называет её вид из 43? Обучение и проверка те же, что у детектора, сравнение на тех же 2 158 фото фолда 0.
Группа фото
Фото
Детектор + классификатор
Одна модель
все фото
2 158
0,854 / 0,806
0,831 / 0,787
фото до 640 px
1 688
0,850 / 0,786
0,828 / 0,724
фото крупнее 640 px
470
0,866 / 0,822
0,845 / 0,819
несколько рыб на фото
198
0,763 / 0,762
0,788 / 0,792
малые классы
23
0,609 / 0,705
0,478 / 0,642
Точность / macro-F1. Тест Макнемара на тех же фото даёт χ² = 7,8 при пороге 3,84, то есть разница значима. Сильнее всего одна модель проигрывает на мелких фото и малых видах: она определяет вид по всему кадру 640 px, а классификатор видит рыбу крупно. Плюсы одной модели: один файл на 9,9 МБ, работа на 27–28 % быстрее (215 против 277 мс в один поток) и чуть лучший результат на фото с несколькими рыбами. Ни один из 8 её вариантов (разные веса, с NMS и без, разные пороги) не догнал две модели по macro-F1. В итоговой системе оставлены две модели.
macro-F1 по группам фотоТаблица согласия ответов для теста Макнемара
Остальные рисунки
Точность по группам фотоF1 по видам у двух подходовВсе 8 вариантов одной модели против двух моделейПотери рамок по эпохамПотери класса по эпохамmAP с учётом вида по эпохам
Ошибки в разметке (cleanlab)
Сколько кропов подписаны не тем видом? Библиотека cleanlab ищет подозрительные метки по вероятностям, которые три модели дали кропам, не виденным при обучении. Сверху добавлено строгое правило: все три модели называют один и тот же другой вид, каждая с вероятностью от 0,5.
Ступень отбора
Кропов
все кропы
10 767
ошибки RepViT
1 532
отмечены cleanlab по среднему трёх моделей
280
и все три модели называют один и тот же другой вид
216
и каждая уверена от 0,5 (строгое правило)
74 (0,7 %)
Малые классы не затронуты. Подозрительные пары совпадают с частыми ошибками классификатора (жерех → елец 15, белоглазка → густера 9). Часть случаев больше похожа на ошибки моделей, чем на неверные подписи (ёрш → судак, окунь → голец). Поэтому кропы не исключались: точность выросла бы не больше чем на полпункта (0,858 → 0,864), а белоглазка потеряла бы 9 примеров из 73.
Не узнаёт ли модель вид по качеству снимка
19 видов есть только на крупных камерных фото. Может быть, модель запоминает резкость и разрешение вместо самой рыбы? Чтобы проверить, кропы с крупных фото искусственно ухудшили до уровня мелких и сравнили, насколько упала точность у двух групп видов.
Группа видов (RepViT, точность)
Кропов
Исходные
Уменьшены, JPEG 95
Падение, пункты
виды только с крупных фото
1 204
0,914
0,899
−1,5
виды с фото обоих типов (контроль)
472
0,922
0,905
−1,7
Падение одинаковое. Если бы модель узнавала вид по признакам источника, у первой группы оно было бы заметно больше. Кроме того, в 12 видах, где есть оба типа фото, крупные снимки распознаются лучше во всех 12: качество снимка помогает модели разглядеть рыбу, а не подсказывает вид.
Точность на кропах с крупных фото при искусственном ухудшении. Вариант «весь кадр уменьшен до 500 px» рушит все виды; это отдельная проблема, ей посвящена следующая проверка.
Маленькие кропы
Если крупное фото уменьшить целиком до 500 px, рыба на нём становится маленькой, и первая версия RepViT угадывает вид только в 13 % случаев. Исправление: кроп меньше 256 px увеличивается до 256, а 30 % картинок при обучении уменьшаются и увеличиваются обратно. Правило, по которому новую модель примут или отклонят, было записано до запуска. На рисунках новая модель подписана «I-020».
Группа кропов (точность)
Кропов
Первая версия
Новая
Разница, пункты
все кропы, 5 фолдов
10 767
0,858
0,863
+0,5
кроп меньше 128 px
165
0,455
0,564
+10,9
кроп 128–192 px
406
0,621
0,680
+5,9
кроп от 256 px
9 465
0,881
0,880
−0,1
весь кадр уменьшен до 500 px
2 000
0,131
0,744
+61,3
вся система на фолде 0, macro-F1
2 158
0,806
0,784
−2,2
По заранее записанному правилу новая модель не прошла: macro-F1 всей системы на фолде 0 упал больше допустимых 0,5 пункта. Дополнительная проверка показала, что это шум малых видов. Разницу дают 5 видов по 3–10 фото, и у трёх из них, если считать по всем пяти фолдам вместе, новая модель лучше. По всем кропам (бутстреп по сериям, 95 %) точность выросла на 0,47 пункта, macro-F1 на 0,17 (модели равны), доля верного вида в тройке на 0,80 пункта, и этот рост значим. Тест Макнемара по всем кропам разницы не нашёл (χ² = 2,7). В итоговую систему взята новая модель.
Точность по размеру кропаmacro-F1 по группам кропов
ONNX и квантование INT8
Сохраняют ли модели точность при переносе в ONNX Runtime, на котором будет работать система? Ускоряет ли их квантование в 8-битные целые числа на обычном процессоре?
Перенос в ONNX потерь не даёт: система даёт 0,853 / 0,805 против 0,854 / 0,806 в PyTorch. Детектор в INT8 почти не теряет: главная рыба найдена на 2 019 фото против 2 038. Все три классификатора в INT8 ломаются: точность падает до 0,37–0,50 вместо 0,82–0,86.
Вариант INT8 для RepViT (фолд 0)
Совпадение ответов с FP32
Точность
Потеря, пункты
FP32
1,000
0,861
0
стандартная калибровка (MinMax)
0,499
0,475
−38,7
только веса в INT8
0,985
0,859
−0,2
только промежуточные значения в INT8
0,323
0,307
−55,4
калибровка по 99,9-му перцентилю
0,827
0,768
−9,3
то же, 15 самых чувствительных слоёв в FP32 (лучший вариант)
0,849
0,786
−7,5
Модель ломают промежуточные значения (активации), а не веса. В классификаторах есть отдельные каналы, где значения доходят до сотен, тогда как в остальных они порядка единицы. Шаг квантования один на весь тензор и подстраивается под эти выбросы, поэтому обычные каналы огрубляются до 1–3 уровней. Ошибка копится от слоя к слою по всей сети, и перевод отдельных слоёв обратно в FP32 помогает мало. У детектора таких выбросов нет. К тому же у процессора ноутбука нет инструкций VNNI, ускоряющих 8-битные вычисления, и INT8 на нём медленнее FP32 у всех моделей. Поэтому итоговая система работает в FP32, а дообучение с учётом квантования не понадобилось.
16 вариантов квантования RepViT против FP32Отношение сигнал/шум по слоям: накопленная ошибка доходит до уровня самого сигнала
Точность FP32 и INT8 для трёх классификаторов и всей системыВремя FP32 и INT8 на ноутбуке: INT8 медленнее
9Скорость на ноутбуке
Замер на ноутбуке с процессором AMD Ryzen 5 3550H без видеокарты, ONNX Runtime, медиана повторов. Для сравнения моделей частота процессора зафиксирована на 2,1 ГГц, тогда повторы расходятся не больше чем на 1 %. Обычный режим без фиксации частоты дан для ориентира.
Модель, мс
МБ
1 поток
3 потока
Обычный режим, 4 потока
YOLO26n, детектор, FP32
9,8
212,7
80,0
64,1
YOLO26n, детектор, INT8
3,0
262,3
115,4
96,8
RepViT-M0.9, FP32
18,9
63,9
23,1
18,8
RepViT-M0.9, INT8
5,5
89,9
41,5
37,6
EfficientNet-B0, FP32
16,2
40,7
15,8
13,9
MobileNetV3-Large, FP32
17,0
17,5
7,0
6,0
Итоговая система: детектор + RepViT, FP32
28,7
276,6
103,1
82,9
Одна модель вместо двух, FP32
9,9
215,3
81,2
65,0
Детектор занимает около 77 % времени системы. INT8 медленнее FP32 у всех моделей: на 23–56 % в один поток.
Время на одно фото: детектор с классификатором против одной модели
10Ограничения
У 6 малых видов по 14–22 кропа, и в отдельном фолде у некоторых всего одна серия снимков. Их метрики неустойчивы.
Отдельной тестовой выборки нет: итоговые числа получены проверкой на 5 фолдах с группировкой по сериям. Чтобы не завышать результат, лучшая эпоха не выбиралась.
Детектор обучен на фолдах 1–4, поэтому честная оценка всей системы есть только на фолде 0 (2 158 фото).
Метки видов специалист не проверял. Грубые ошибки убраны, по оценке cleanlab под подозрением остаются 74 кропа (0,7 %).
Источник фото связан с видом: 19 видов есть только на крупных камерных снимках. Проверка из раздела 8 не нашла, что модель узнаёт вид по качеству снимка, но для этих видов полностью такую возможность не исключает.
Фото с несколькими рыбами распознаются хуже (0,70 против 0,88). Кропы меньше 128 px остаются слабым местом (0,56).
Скорость мерилась на одном ноутбуке. На процессоре с VNNI или на телефоне выводы про INT8 могут быть другими.
11Воспроизводимость
20 ноутбуков Google Colab, по одному на этап. Обучение на видеокартах Colab (T4 и L4), замеры скорости и разбор INT8 на процессоре AMD Ryzen 5 3550H. Каждый ноутбук можно перезапустить без побочных эффектов.
Исходные данные не менялись. Решение по каждому фото лежит в манифесте с причиной, все решения по ходу работы записаны с обоснованием в журнал (37 записей).
У каждого из 63 рисунков свой скрипт. Он берёт сохранённые результаты и пересобирает рисунок без запуска моделей.