От логики алгоритма до развертывания на чипе: Эволюция обнаружения объектов YOLO и практика Rockchip

Стоя на перекрестке, вам нужно всего лишь мимолетный взгляд, чтобы ваш мозг мгновенно обозначил все, что в вашем поле зрения: красный автобус останавливается на станции,ребенок на тротуаре бежитЭта почти интуитивная реакция когда-то была чрезвычайно сложной для компьютеров, пока не появилась YOLO.Вы смотрите только один раз в тот момент, когда фотография снимается.Это позволило обнаружению объектов попрощаться с исчерпывающими поисками и, как и человеческая интуиция,по-настоящему наделенные машинами с сущностью мышления в реальном времени.

До появления YOLO в области компьютерного зрения долгое время доминировала двухступенчатая архитектура.алгоритм сначала должен был извлечь тысячи предложений региона, а затем классифицируйте их по одному. The genius of YOLO lies in that it completely overturned this cumbersome "proposal-then-verification" process and reconstructed object detection from a classification task into an end-to-end regression problem.

Когда вы вводите изображение в сеть YOLO, он перерезает Гордианский узел, напрямую разделяя изображение на сетку S*S. Каждая сетка - это не только кусок изображения,но также и точка характеристики в сетевом выходном тензоре.

Предсказание интегрированного тензора: Каждая сетка напрямую предсказывает информацию о координатах (x, y, w, h) нескольких граничных ящиков, а также балл доверия, указывающий, присутствует ли здесь объект.

Параллельная классификация и локализация: При предсказании координат каждая сетка также вычисляет набор классовых вероятностей.Это означает, что локализация и классификация выполняются полностью параллельно в пределах выхода одного и того же слоя нейронной сети..

Глобальное соединение признаков: Благодаря комплексному дизайну сети, при принятии решений она имеет доступ к глобальной информации всего изображения.По сравнению с традиционными алгоритмами, которые ориентированы только на предложения местных регионовПодобный "большой обзор" позволяет более точно идентифицировать фоновый шум, что уменьшает вероятность ошибочной классификации облаков нерегулярной формы как птиц.

Многие люди думают, что ИИ далеко, но, честно говоря, YOLO давно "жестоко конкурирует" в уголках, невидимых для нас.

Умные строительные площадки: На участках строительства туннелей, заполненных пылью или с крайне плохим освещением, YOLOv9 демонстрирует чрезвычайно сильные возможности извлечения признаков.

Выявление соответствия поведению: Он может не только определить наличие или отсутствие шлемов безопасности и отражающих жилетов, но и определить, правильно ли они носятся (например, застегнут ли ремень шлема,или циппер полностью закрыт) через подробные функции.

Высококонкурентная обработка: Он поддерживает крупномасштабное обнаружение в режиме реального времени более 50 человек в кадре. В сочетании с инфракрасной технологией визуализации, он реализует скачок от "ручного мониторинга" до "24/7 автоматического раннего предупреждения".

Городское управление: Сценарии городского управления и комплексного управления предъявляют высокие требования к способности алгоритмов противодействовать помехам.

Статическое управление: Сочетая сравнение исторических изображений и семантическую сегментацию, система может точно идентифицировать недавно построенные незаконные сооружения, скопление мусора или занятие дорог для бизнеса,и даже автоматически количественно определять площадь и объем нарушений.

Динамическая безопасность: Основанная на распознавании позы (OpenPose/YOLO-Pose), система может чувствительно улавливать ненормальное поведение, такое как "человек падает на землю" и связываться с системами экстренной медицинской помощи.,Он использует алгоритм скопления плотности (DBSCAN) для мониторинга плотности толпы в режиме реального времени и предотвращения рисков столкновений.

Проверка мощности:Мультимодальное слияниев районах повышенного риска, таких как подземные кабельные туннели или высоковольтные передающие башни: путем слияния точечного облака лидара и инфракрасной термоизображения,может проводить бесконтактное обнаружение аномального нагрева трансформатора, тока утечки блокировщика или наклона башни (с точностью 0,1°) с расстояния 30 метров.

Автоматическое определение дефекта: Для незначительных скрытых опасностей, таких как повреждение кабеля и коррозия брекета, точность распознавания превышает 92%, что значительно повышает эффективность эксплуатации и технического обслуживания и обеспечивает безопасность персонала.

Предотвращение лесных пожаров: Для обнаружения дыма и пожара в больших районах с нерегулярной формой YOLO демонстрирует сверхбыстрые возможности реагирования.

Точная идентификация дыма и огня: Сочетая изображения и данные о тепловой радиации, он может различать лесные пожары, лагерные пожары или сжигание сельскохозяйственных угодий в течение 2 секунд,с чрезвычайно сильной антиинтерферентной способностью против облаков и теней растительности.

Осознание ситуации: Интегрируя географическую информацию ГИС и случайную модель леса, система может не только обнаружить пожар, но и предсказать тенденцию распространения на основе скорости ветра и местности,предоставление визуальных карт для планирования на месте.

Оптимизация вычислительной мощности для RK3588/RK3576

Честно говоря, сравнение на графической карте - это всего лишь разогрев. Что действительно позволяет развернуть и реализовать YOLO, так это перенести его в микросхемы размером с чип, такие как Rockchip®s RK3588 или RK3576.Это не просто миграция кода.Для достижения обнаружения объектов на уровне миллисекунд на этих платформах SoC обычно требуются следующие шаги:

"Перевести" модель:NPU (Neural Processing Unit) чипа имеет свои собственные спецификации и не может интерпретировать native.pt учебные файлы PyTorch.Потом разобрали и перестроили в .rknn формат, который чип может понять, наблюдая, как сложные операторы переставляются на вычислительные пути, предпочтительные NPU.

"Снизить вес" с помощью сжатия: Нативные модели FP32 (32-разрядные модели с плавающей запятой) имеют огромное количество параметров, что создает большую нагрузку на пропускную способность и хранилище встроенных чипов.Алгоритмы квантования сжимают весы и активации с 32-битных до 8-битныхЭто не только уменьшает давление на пропускную способность DDR, но и эффективно снижает расход вычислительной мощности.

Оптимизация "передачи данных": Даже если модель достаточно быстрая, NPU все равно будет "сидеть в стороне", если процессор занят перемещением видеопотоков в памяти.Технология нулевой копии DMA-BUF используется для совместного использования данных видеопотока в видеопамяти между интернет-провайдерамиВ сочетании с параллельной логикой для асинхронного вывода,Следующий кадр уже в очереди для обработки, в то время как текущий кадр все еще проходит операции свертыванияЭта плавная координация позволяет потокам видео в режиме реального времени беспрепятственно работать на чипе.

Какую версию YOLO вы выберете?

При развертывании на встроенных устройствах выбор версии заключается не просто в "преследовании новейшего"; вместо этого требуется сбалансировать расходы на вычислительную мощность, совместимость оператора,и требования точности конкретных задач.