Van algoritmische logica naar chip-zijde implementatie: de evolutie van YOLO Object Detection en Rockchip's Practice

Als je op een kruispunt staat, heb je maar een vluchtige blik nodig voor je hersenen om alles in je gezichtsveld meteen te labelen: die rode bus stopt in het station,Het kind op de stoep loopt.Deze bijna intuïtieve reactie was ooit extreem moeilijk voor computers om te leren.Je kijkt maar één keer, op het moment dat een beeld wordt opgenomen.Het maakte het mogelijk voor de objectdetectie afscheid te nemen van uitgebreide zoekopdrachten en, net als de menselijke intuïtie, het gebruik van de computer om objecten te detecteren.Echt begaafde machines met de essentie van real-time denken.

Voor de geboorte van YOLO was het gebied van computervisie al lang gedomineerd door de tweestapsarchitectuur.een algoritme moest eerst duizenden regiovoorstellen extraheren, en vervolgens ze één voor één classificeren. The genius of YOLO lies in that it completely overturned this cumbersome "proposal-then-verification" process and reconstructed object detection from a classification task into an end-to-end regression problem.

Als je een afbeelding invoert in het YOLO-netwerk, snijdt het de Gordianse knoop door de afbeelding rechtstreeks te verdelen in een S*S raster.maar ook een kenmerk punt in de netwerk output tensor.

Geïntegreerde tensorvoorspelling: Elk raster voorspelt rechtstreeks de coördinaten (x, y, w, h) van meerdere grensvakken, evenals een betrouwbaarheidsscore die aangeeft of hier een object aanwezig is.

Parallelle classificatie en lokalisatie: Terwijl de coördinaten worden voorspeld, berekent elk raster ook een reeks klassenwaarschijnlijkheid.Dit betekent dat lokalisatie en classificatie volledig parallel worden uitgevoerd binnen de output van dezelfde laag van het neurale netwerk..

Globale koppeling van kenmerken: Dankzij het end-to-end ontwerp van het netwerk heeft het toegang tot de globale informatie van het gehele beeld bij het nemen van beslissingen.In vergelijking met traditionele algoritmen die zich alleen richten op voorstellen voor lokale regio's, YOLO's dergelijke "grote beeldweergave" stelt het in staat om achtergrondgeluiden nauwkeuriger te identificeren, waardoor het minder waarschijnlijk is dat onregelmatig gevormde wolken verkeerd als vogels worden geclassificeerd.

Veel mensen denken dat AI ver weg is, maar eerlijk gezegd, YOLO is al lang "verbitterd aan het concurreren" in hoeken die we niet kunnen zien.

Slimme bouwterreinen: Op tunnelbouwterreinen vol stof of met extreem slechte verlichting toont YOLOv9 uiterst sterke extractievermogen.

Beoordeling van gedragsgerelateerde conformiteit: Het kan niet alleen de aanwezigheid of afwezigheid van veiligheidshelmen en reflecterende vesten identificeren, maar ook bepalen of deze correct worden gedragen (bijv. of de helmband is vastgemaakt, of de veiligheidshelmen worden gebruikt om de veiligheid te waarborgen).of de rits is volledig gesloten) via gedetailleerde kenmerken.

Verwerking met hoge concurentie: Het ondersteunt grootschalige real-time detectie van meer dan 50 personen per frame. In combinatie met infrarood beeldtechnologie realiseert het de sprong van "handmatige monitoring" naar "24/7 automatische vroege waarschuwing".

Stedelijk bestuur: Stedenbeheer en scenario's voor een uitgebreid bestuur stellen hoge eisen aan de vermogen van algoritmes om interferentie te voorkomen.

Statische governance: Door historische beeldvergelijking en semantische segmentatie te combineren, kan het systeem nieuw gebouwde illegale gebouwen, afvalophopingen of verkeersbezit voor bedrijven nauwkeurig identificeren,en zelfs automatisch het gebied en de omvang van de overtredingen te kwantificeren.

Dynamische beveiliging: Op basis van houdingherkenning (OpenPose/YOLO-Pose) kan het systeem abnormaal gedrag zoals "persoon die op de grond valt" gevoelig vastleggen en verbinding maken met medische hulpdiensten.,het maakt gebruik van een dichtheidsgroeperingsalgoritme (DBSCAN) om de dichtheid van de menigte in realtime te controleren en de risico's van stampades te voorkomen.

Vermogeninspectie:Multimodale fusiein gebieden met een hoog risico, zoals ondergrondse kabeltunnels of hoogspanningstransmissietorens: door het combineren van lidarpuntwolken en infraroodthermische beeldvorming,Het kan een niet-contact detectie van transformator abnormale verwarming uitvoeren, stopstroom, lekstroom of torentilt (met een nauwkeurigheid van 0,1°) vanaf een afstand van 30 meter.

Automatische beoordeling van gebreken: Voor kleine verborgen gevaren zoals kabelbeschadiging en corrosie van de beugel overschrijdt de herkenningsnauwkeurigheid 92%, waardoor de efficiëntie van de werking en het onderhoud aanzienlijk wordt verbeterd en de veiligheid van het personeel wordt gewaarborgd.

Voorkoming van bosbranden: Voor het detecteren van rook en brand op grote gebieden met onregelmatige vormen toont YOLO een ultrasnelle reactiecapaciteit.

Nauwkeurige identificatie van rook en vuur: Door het combineren van beeldkenmerken en thermische stralingsgegevens kan het binnen 2 seconden bosbranden, kampbranden of brandende landbouwgrond onderscheiden,met een uiterst sterke vermogen tot interferentie tegen wolken en schaduwen van vegetatie.

Situatiebewustzijn: Door GIS-geografische informatie en willekeurig bosmodel te integreren, kan het systeem niet alleen brand detecteren, maar ook de verspreidingstrend voorspellen op basis van windsnelheid en terrein,het opstellen van visuele kaarten voor de planning ter plaatse.

Ultimate Computing Power Optimization voor RK3588/RK3576

Eerlijk gezegd is benchmarking op een grafische kaart slechts een opwarming. Wat YOLO echt in staat stelt om te worden ingezet en geïmplementeerd, is het doorzetten naar chipgrote SoC's zoals Rockchip's RK3588 of RK3576.Dit is niet alleen een eenvoudige code migratieOm objectdetectie op millisecondeniveau op deze SoC-platforms te bereiken, zijn de volgende stappen meestal vereist:

"Vertaal" het model:De NPU (Neural Processing Unit) van de chip heeft zijn eigen specificaties en kan PyTorch's native.pt trainingsbestanden niet interpreteren.Vervolgens ontmanteld en gereconstrueerd in de.rknn-formaat dat de chip kan begrijpen door te kijken hoe complexe operatoren worden gerangschikt in de door de NPU favoriete berekeningspaden.

"Slim Down" via compressie: Native FP32-modellen (32-bit floating-point) hebben een enorm aantal parameters, waardoor de bandbreedte en de opslag van ingebedde chips zwaar worden belast.Quantiseringsalgoritmen comprimeren gewichten en activeringen van 32-bit tot 8-bitDit vermindert niet alleen de druk op de DDR-bandbreedte, maar verlaagt ook het rekenkrachtverbruik.

Optimalisatie van de gegevensoverdracht: Zelfs als het model snel genoeg is, zal de NPU nog steeds "loze baan" nemen als de CPU bezig is met het verplaatsen van videostreams in het geheugen.DMA-BUF-zero-copy-technologie wordt gebruikt om het delen van videostreamgegevens in videogeheugen tussen de ISP mogelijk te makenGecombineerd met parallelle logica voor asynchrone afleidingen, is het mogelijk om de CPU-kopie overhead volledig te elimineren.het volgende frame is al in de rij staan voor verwerking terwijl het huidige frame nog steeds wordt onderworpen aan omsluitingsoperatiesDeze naadloze coördinatie maakt het mogelijk om realtime videostreams soepel te laten draaien op de chip.

Welke YOLO-versie is jouw "keuze"?

Bij de implementatie op ingebedde apparaten gaat het bij de keuze van de versie niet alleen om "het achtervolgen van het laatste"; het vereist in plaats daarvan een evenwicht tussen de rekenkracht overhead, de compatibiliteit van de operator,en de nauwkeurigheidsvereisten van specifieke taken.