Από την λογική του αλγόριθμου στην ανάπτυξη της πλευράς του τσιπ: Η εξέλιξη της ανίχνευσης αντικειμένων YOLO και της πρακτικής Rockchip

Στεκόμενος σε ένα σταυροδρόμι, χρειάζεστε μόνο μια φευγαλέα ματιά για να χαρακτηρίσει αμέσως ο εγκέφαλός σας τα πάντα στο οπτικό σας πεδίο: ότι το κόκκινο λεωφορείο σταματά στο σταθμό,Το παιδί στο πεζοδρόμιο τρέχει.Αυτή η σχεδόν διαισθητική αντίδραση ήταν κάποτε εξαιρετικά δύσκολη για τους υπολογιστές να την μάθουν.Κοιτάς μόνο μια φορά, τη στιγμή που καταγράφεται μια εικόνα.Η ανίχνευση αντικειμένων επέτρεψε να αποχαιρετήσει τις εξαντλητικές αναζητήσεις και, όπως ακριβώς και η ανθρώπινη διαίσθηση, ναΠραγματικά εξοπλισμένες μηχανές με την ουσία της σκέψης σε πραγματικό χρόνο.

Πριν από τη γέννηση του YOLO, ο τομέας της οπτικής υπολογιστή είχε για πολύ καιρό κυριαρχηθεί από την αρχιτεκτονική των δύο σταδίων.ένας αλγόριθμος έπρεπε πρώτα να εξάγει χιλιάδες προτάσεις περιοχής, και στη συνέχεια να ταξινομήσει τους έναν προς έναν. The genius of YOLO lies in that it completely overturned this cumbersome "proposal-then-verification" process and reconstructed object detection from a classification task into an end-to-end regression problem.

Όταν εισάγετε μια εικόνα στο δίκτυο YOLO, κόβει τον κόμπο του Γορδίου διαιρώντας απευθείας την εικόνα σε ένα πλέγμα S * S. Κάθε πλέγμα δεν είναι μόνο ένα κομμάτι της εικόνας,αλλά και ένα σημείο χαρακτηριστικό στο τενζόρα εξόδου δικτύου.

Ενσωματωμένη πρόβλεψη τεντορίων: Κάθε πλέγμα προβλέπει άμεσα τις πληροφορίες συντεταγμένων (x, y, w, h) πολλαπλών οριακών κουτιών, καθώς και βαθμολογία εμπιστοσύνης που δείχνει αν ένα αντικείμενο είναι παρόν εδώ.

Παράλληλη ταξινόμηση και τοποθέτηση: Ενώ προβλέπει τις συντεταγμένες, κάθε πλέγμα υπολογίζει επίσης ένα σύνολο πιθανότητες τάξης.Αυτό σημαίνει ότι η τοποθέτηση και η ταξινόμηση ολοκληρώνονται με πλήρη παράλληλο τρόπο μέσα στην έξοδο του ίδιου στρώματος του νευρικού δικτύου.

Παγκόσμια σύνδεση χαρακτηριστικών: Χάρη στο end-to-end σχεδιασμό του δικτύου, έχει πρόσβαση στις παγκόσμιες πληροφορίες ολόκληρης της εικόνας κατά τη λήψη αποφάσεων.Σε σύγκριση με τους παραδοσιακούς αλγόριθμους που επικεντρώνονται μόνο στις προτάσεις τοπικών περιφερειώνΗ "μεγάλη εικόνα" του YOLO, του επιτρέπει να εντοπίζει τον θόρυβο του φόντου με μεγαλύτερη ακρίβεια, καθιστώντας λιγότερο πιθανό να κατατάσσει λανθασμένα τα ακανόνιστα σύννεφα ως πουλιά.

Πολλοί άνθρωποι πιστεύουν ότι η τεχνητή νοημοσύνη είναι μακρινή, αλλά ειλικρινά, η YOLO εδώ και πολύ καιρό "ανταγωνίζεται άγρια" σε γωνίες που δεν βλέπουμε.

Έξυπνοι χώροι κατασκευής: Σε εργοτάξια κατασκευής σηράγγων γεμάτα σκόνη ή με εξαιρετικά κακή φωτισμό, το YOLOv9 επιδεικνύει εξαιρετικά ισχυρές δυνατότητες εξαγωγής χαρακτηριστικών.

Ανίχνευση συμμόρφωσης συμπεριφοράς: Μπορεί όχι μόνο να προσδιορίσει την παρουσία ή την απουσία κράνων ασφαλείας και ανακλαστικών γιλέκων, αλλά και να προσδιορίσει εάν φορούνται σωστά (π.χ. αν το ιμάντα του κράνου είναι δεμένο, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάντα είναι ασφαλές, αν το ιμάνι είναι ασφαλές, αν το ιμάνι είναι ασφαλές, ανή το φερμουάρ είναι πλήρως φερμουάρ) μέσω λεπτομερών χαρακτηριστικών.

Επεξεργασία υψηλής ταχύτητας: Υποστηρίζει ευρεία ανίχνευση σε πραγματικό χρόνο πάνω από 50 ατόμων ανά κάμερα.

Διοίκηση των πόλεων: Η αστική διαχείριση και τα σενάρια ολοκληρωμένης διακυβέρνησης θέτουν υψηλές απαιτήσεις για την ικανότητα των αλγορίθμων να αποτρέπουν τις παρεμβολές.

Στατική διακυβέρνηση: Με τη συνδυασμό ιστορικής σύγκρισης εικόνων και σημασιολογικής κατανομής, το σύστημα μπορεί να εντοπίσει με ακρίβεια νέες παράνομες κατασκευές, συσσώρευση σκουπιδιών ή κατοχή δρόμων για επιχειρήσεις,και ακόμη και να ποσοτικοποιήσει αυτόματα την περιοχή και τον όγκο των παραβιάσεων.

Δυναμική Ασφάλεια: Με βάση την αναγνώριση στάσεων (OpenPose/YOLO-Pose), το σύστημα μπορεί να συλλάβει ευαίσθητα μη φυσιολογικές συμπεριφορές όπως "άτομο που πέφτει στο έδαφος" και να συνδέεται με τα συστήματα έκτακτης ανάγκης.,χρησιμοποιεί αλγόριθμο ομαδοποίησης της πυκνότητας (DBSCAN) για την παρακολούθηση της πυκνότητας του πλήθους σε πραγματικό χρόνο και την πρόληψη των κινδύνων εκτροπής.

Έλεγχος ισχύος:Πολυμορφή σύντηξησε περιοχές υψηλού κινδύνου, όπως υπόγειες σήραγγες καλωδίων ή πύργοι μετάδοσης υψηλής τάσης: Με τη συγχώνευση του νέφους σημείων lidar και της υπερύθριης θερμικής απεικόνισης,μπορεί να διεξάγει ανίχνευση χωρίς επαφή της ανώμαλης θέρμανσης του μετασχηματιστή, ρεύμα διαρροής του συσσωρευτή ή κλίση του πύργου (με ακρίβεια 0,1°) από απόσταση 30 μέτρων.

Αυτόματη κρίση ελαττωμάτων: Για μικρούς κρυφτούς κινδύνους, όπως η βλάβη του καλωδίου και η διάβρωση των στερεών, η ακρίβεια αναγνώρισης υπερβαίνει το 92%, γεγονός που βελτιώνει σημαντικά την αποτελεσματικότητα της λειτουργίας και της συντήρησης και εξασφαλίζει την ασφάλεια του προσωπικού.

Πρόληψη δασικών πυρκαγιών: Για την ανίχνευση καπνού και πυρκαγιάς σε μεγάλη περιοχή, με ακανόνιστο σχήμα, το YOLO επιδεικνύει την ικανότητα υπερταχείας απόκρισης.

Ακριβής αναγνώριση καπνού και φωτιάς: Συνδυάζοντας χαρακτηριστικά εικόνας και δεδομένα θερμικής ακτινοβολίας, μπορεί να διακρίνει τις πυρκαγιές, τις φωτιές κατασκήνωσης ή την καύση γεωργικών εκτάσεων μέσα σε 2 δευτερόλεπτα,με εξαιρετικά ισχυρή αντιανταρακτική ικανότητα κατά των σύννεφων και των σκιών της βλάστησης.

Γνώση της κατάστασης: Ενσωματώνοντας γεωγραφικές πληροφορίες GIS και τυχαίο μοντέλο δάσους, το σύστημα δεν μπορεί μόνο να ανιχνεύσει πυρκαγιά, αλλά και να προβλέψει την τάση εξάπλωσης με βάση την ταχύτητα του ανέμου και το έδαφος,παροχή οπτικών χαρτών για το προγραμματισμό επί τόπου.

Τελική βελτιστοποίηση ισχύος υπολογιστών για RK3588/RK3576

Ειλικρινά, η συγκριτική αξιολόγηση σε μια κάρτα γραφικών είναι μόνο μια προθέρμανση.Αυτό δεν είναι απλά μια απλή μετακίνηση κώδικαΓια να επιτευχθεί ανίχνευση αντικειμένων σε επίπεδο χιλιοστά του δευτερολέπτου σε αυτές τις πλατφόρμες SoC, απαιτούνται συνήθως τα ακόλουθα βήματα:

"Ανταφράστε" το μοντέλο:Το NPU (Neural Processing Unit) του τσιπ έχει τις δικές του προδιαγραφές και δεν μπορεί να ερμηνεύσει τα εγγενή αρχεία εκπαίδευσης.pt του PyTorch. Χρησιμοποιώντας το RKNN-Toolkit2, το μοντέλο μετατρέπεται σε μορφή ONNX,Στη συνέχεια αποσυναρμολογήθηκε και ανασυγκροτήθηκε στο .rknn μορφή που το τσιπ μπορεί να κατανοήσει παρακολουθώντας σύνθετους χειριστές να αναδιαρθρώνονται στις διαδρομές υπολογισμού που ευνοούνται από την NPU.

"Περίχωση" μέσω συμπίεσης: Τα γηγενή μοντέλα FP32 (32-bit floating-point) έχουν τεράστιο αριθμό παραμέτρων, επιβάλλοντας βαρύ φόρτο στο εύρος ζώνης και την αποθήκευση των ενσωματωμένων τσιπ.Οι αλγόριθμοι κβαντοποίησης συμπιέζουν βάρη και ενεργοποιήσεις από 32-bit σε 8-bitΑυτό όχι μόνο ελαφρύνει την πίεση του εύρους ζώνης DDR, αλλά μειώνει επίσης αποτελεσματικά την κατανάλωση υπολογιστικής ισχύος.

Βελτιστοποίηση της "μεταφοράς δεδομένων"Για να αποφευχθεί η σπατάλη ενός μόνο χιλιοστρόλεπτου, θα πρέπει να χρησιμοποιήσετε το NPU.Η τεχνολογία μηδενικών αντιγράφων DMA-BUF χρησιμοποιείται για να επιτρέψει την ανταλλαγή δεδομένων ροής βίντεο σε μνήμη βίντεο μεταξύ του ISPΣε συνδυασμό με παράλληλη λογική για ασύγχρονη συμπερίληψη,το επόμενο πλαίσιο είναι ήδη στην ουρά για επεξεργασία ενώ το τρέχον πλαίσιο εξακολουθεί να υποβάλλεται σε λειτουργίες σύγλυψηςΑυτός ο απρόσκοπτος συντονισμός είναι αυτός που επιτρέπει σε ροές βίντεο σε πραγματικό χρόνο να τρέχουν ομαλά στο τσιπ.

Ποια έκδοση του YOLO είναι η "επιλογή" σας;

Όταν χρησιμοποιείται σε ενσωματωμένες συσκευές, η επιλογή της έκδοσης δεν αφορά απλώς την "απόκτηση των τελευταίων τεχνολογιών", αλλά απαιτεί την εξισορρόπηση των επιβαρύνσεων υπολογιστικής ισχύος, της συμβατότητας του χειριστή,και τις απαιτήσεις ακρίβειας των ειδικών εργασιών.