De la logique algorithmique au déploiement côté puce: l'évolution de la détection d'objets YOLO et la pratique de Rockchip

En vous tenant à un carrefour, vous n'avez besoin que d'un coup d'œil éphémère pour que votre cerveau étiquette instantanément tout ce qui se trouve dans votre champ de vision: ce bus rouge s'arrête à la gare,L'enfant sur le trottoir court.Cette réaction presque intuitive était autrefois extrêmement difficile à apprendre pour les ordinateurs.Vous ne regardez qu'une seule fois, au moment où une image est capturée.Il a permis à la détection d'objets de dire au revoir à des recherches exhaustives et, tout comme l'intuition humaine, il a permis à la détection d'objets de détecter des objets qui ne sont pas des objets de recherche.Des machines vraiment dotées de la pensée en temps réel..

Avant la naissance de YOLO, le domaine de la vision par ordinateur avait longtemps été dominé par l'architecture à deux étages.un algorithme a d'abord dû extraire des milliers de propositions de régions, puis les classer un par un. The genius of YOLO lies in that it completely overturned this cumbersome "proposal-then-verification" process and reconstructed object detection from a classification task into an end-to-end regression problem.

Lorsque vous entrez une image dans le réseau YOLO, il coupe le nœud gordien en divisant directement l'image en une grille S*S. Chaque grille n'est pas seulement une tranche de l'image,mais aussi un point caractéristique dans le tensor de sortie réseau.

Prédiction intégrée des tensors: Chaque grille prédit directement les informations de coordonnées (x, y, w, h) de plusieurs boîtiers de délimitation, ainsi qu'un score de confiance indiquant si un objet est présent ici.

Classification et localisation parallèles: Tout en prédisant les coordonnées, chaque grille calcule également un ensemble de probabilités de classe.Cela signifie que la localisation et la classification sont effectuées de manière entièrement parallèle dans la sortie de la même couche du réseau neuronal.

Accouplement des caractéristiques globales: Grâce à la conception de bout en bout du réseau, il a accès à l'information globale de l'ensemble de l'image pour prendre des décisions.Comparé aux algorithmes traditionnels qui se concentrent uniquement sur les propositions de régions locales, YOLO's cette " vue d'ensemble " lui permet d'identifier plus précisément le bruit de fond, ce qui lui permet de ne pas classer à tort les nuages de forme irrégulière comme des oiseaux.

Beaucoup de gens pensent que l'IA est lointaine, mais honnêtement, YOLO est depuis longtemps " en compétition féroce " dans des coins invisibles pour nous.

Les chantiers de construction intelligents: Dans les chantiers de construction de tunnels remplis de poussière ou avec un éclairage extrêmement médiocre, YOLOv9 démontre des capacités d'extraction de caractéristiques extrêmement fortes.

Détection de la conformité comportementale: Il permet non seulement d'identifier la présence ou l'absence de casques de sécurité et de gilets réfléchissants, mais aussi de déterminer s'ils sont correctement portés (par exemple, si la sangle du casque est fixée, si le casque n'est pas démonté, si le casque n'est pas démonté).ou la fermeture à glissière est complètement fermé) à travers les caractéristiques détaillées.

Traitement à haute convergence: Il prend en charge la détection à grande échelle en temps réel de plus de 50 personnes par image. Combiné à la technologie d'imagerie infrarouge, il réalise le saut de "surveillance manuelle" à "alerte précoce automatique 24h/7".

Gouvernance urbaine: Les scénarios de gestion urbaine et de gouvernance globale imposent des exigences élevées à la capacité anti-interférence des algorithmes.

Gouvernance statique: En combinant la comparaison historique des images et la segmentation sémantique, le système peut identifier avec précision les structures illégales nouvellement construites, l'accumulation de déchets ou l'occupation des routes pour les entreprises,et même quantifier automatiquement la superficie et le volume des violations.

Sécurité dynamique: Basé sur la reconnaissance de pose (OpenPose/YOLO-Pose), le système peut détecter de manière sensible les comportements anormaux tels que "personne tombant au sol" et se connecter aux systèmes médicaux d'urgence.,Il utilise un algorithme de regroupement de la densité (DBSCAN) pour surveiller la densité de la foule en temps réel et prévenir les risques de stampede.

Inspection de la puissance:Fusion multimodaledans les zones à haut risque telles que les tunnels de câbles souterrains ou les tours de transmission haute tension: en fusionnant le nuage de points lidar et l'imagerie thermique infrarouge,il peut effectuer la détection sans contact du chauffage anormal du transformateur, courant de fuite de l'arrêteur ou inclinaison de la tour (avec une précision de 0,1°) à une distance de 30 mètres.

Jugement automatique des défauts: pour les dangers cachés mineurs tels que les dommages au câble et la corrosion des supports, la précision de reconnaissance dépasse 92%, ce qui améliore considérablement l'efficacité de l'exploitation et de l'entretien et assure la sécurité du personnel.

Prévention des incendies de forêt: Pour la détection de fumée et d'incendie de grande surface, de forme irrégulière, YOLO démontre une capacité de réponse ultra-rapide.

Identification précise de la fumée et du feu: en combinant les caractéristiques d'image et les données de rayonnement thermique, il peut distinguer les feux de forêt, les feux de camp ou les terres agricoles brûlées en 2 secondes,avec une capacité anti-interférence extrêmement forte contre les nuages et les ombres de végétation.

Conscience de la situation: En intégrant des informations géographiques SIG et un modèle forestier aléatoire, le système peut non seulement détecter les incendies, mais aussi prédire la tendance de propagation en fonction de la vitesse du vent et du terrain,fourniture de cartes visuelles pour la planification sur place.

Optimisation ultime de la puissance de calcul pour RK3588/RK3576

Honnêtement, le benchmarking sur une carte graphique n'est qu'un échauffement.Ce n'est pas une simple migration de code.Pour obtenir une détection d'objet au niveau des millisecondes sur ces plates-formes SoC, les étapes suivantes sont généralement requises:

"Traducer" le modèle:La NPU (Neural Processing Unit) de la puce a ses propres spécifications et ne peut pas interpréter les fichiers de formation.pt natifs de PyTorch.puis démonté et reconstruit en.rknn format que la puce peut comprendre en regardant les opérateurs complexes être réarrangés dans les chemins de calcul favorisés par le NPU.

"Slim Down" par compression: Les modèles natifs FP32 (32 bits à virgule flottante) ont un nombre énorme de paramètres, ce qui impose une lourde charge sur la bande passante et le stockage des puces embarquées.Les algorithmes de quantification compriment les poids et les activations de 32 bits à 8 bitsCette méthode permet non seulement de réduire la pression sur la bande passante DDR, mais aussi de réduire efficacement la consommation de puissance de calcul.

Optimisation du "transfert de données": Même si le modèle est assez rapide, le NPU "s'assoit à l'arrêt" si le processeur est occupé à déplacer des flux vidéo dans la mémoire.La technologie de copie zéro DMA-BUF est utilisée pour permettre le partage de données de flux vidéo dans la mémoire vidéo entre le FAICombiné à une logique parallèle pour l'inférence asynchrone,la trame suivante est déjà en file d'attente pour le traitement tandis que la trame actuelle est encore en cours d'opérations de convolutionsCette coordination transparente est ce qui permet aux flux vidéo en temps réel de fonctionner en douceur sur la puce.

Quelle version de YOLO préférez-vous?

Lors du déploiement sur les appareils embarqués, le choix de la version ne consiste pas simplement à "chasser le dernier", mais à équilibrer les frais généraux de puissance de calcul, la compatibilité des opérateurs,et les exigences de précision des tâches spécifiques.