Algoritma Mantığı'ndan Çip Tarafından Uygulama: YOLO Nesne Algılama Evrimi ve Rockchip'in Uygulamaları

Bir kavşakta dururken, beyninizin anında görme alanınızdaki her şeyi etiketlemesi için sadece kısa bir bakış gerekir:kaldırımdaki çocuk koşuyorBu neredeyse sezgisel tepki bir zamanlar bilgisayarların öğrenmesi için son derece zordu.Sadece Bir Kez Bakarsın. Bir görüntü alınırken., sınıflandırma ve yerelleştirme aynı anda tamamlanmıştır.Gerçek zamanlı düşünme özelliği ile gerçekten donatılmış makineler.

YOLO'nun doğuşundan önce, bilgisayar görme alanı uzun zamandır iki aşamalı mimariden oluşuyordu.Bir algoritma öncelikle binlerce bölge önerisini çıkarmak zorunda kaldı, ve sonra birer birer sınıflandırın. The genius of YOLO lies in that it completely overturned this cumbersome "proposal-then-verification" process and reconstructed object detection from a classification task into an end-to-end regression problem.

YOLO ağına bir resim girdiğinizde, görüntüyü doğrudan S*S ızgarasına bölerek Gordian düğümünü kesiyor.Ama aynı zamanda ağ çıkış tensöründe bir özellik noktası.

Entegre Tensör Tahmin: Her ızgara, birden fazla sınırlama kutusunun koordinat bilgisini (x, y, w, h) ve bir nesnenin burada olup olmadığını gösteren bir güven puanını doğrudan tahmin eder.

Paralel Sınıflandırma ve Yerleştirme: Koordinatları tahmin ederken, her bir ızgara aynı zamanda bir dizi sınıf olasılığını da hesaplar.Bu, yerelleştirme ve sınıflandırmanın nöral ağın aynı katmanının çıkışında tamamen paralel bir şekilde tamamlandığı anlamına gelir..

Küresel Özellik Koplama: Ağın uçtan uca tasarımı sayesinde, kararlar verirken tüm görüntünün küresel bilgilerine erişebilir.Sadece yerel bölge tekliflerine odaklanan geleneksel algoritmalarla karşılaştırıldığında, YOLO'nun bu tür "büyük resim görüntüsü" fon gürültüsünü daha doğru bir şekilde tanımlamasını sağlar ve düzensiz şekilli bulutları kuş olarak yanlış sınıflandırma olasılığını azaltır.

Pek çok insan yapay zekâ'nın uzak olduğunu düşünüyor, ama dürüst olmak gerekirse, YOLO uzun zamandır bizim görmediğimiz köşelerde "kışkırtıcı bir şekilde rekabet ediyor".

Akıllı İnşaat Alanları: Tünel inşaat alanlarında tozla dolu veya aşırı derecede kötü aydınlatma ile, YOLOv9 son derece güçlü özellik çıkarma yeteneklerini göstermektedir.

Davranış Uygunluğu tespiti: Sadece güvenlik miğferlerinin ve yansıtıcı yeleklerin varlığını veya yokluğunu tespit etmekle kalmaz, aynı zamanda düzgün bir şekilde giyildiklerini de belirleyebilir (örneğin miğfer kemerinin bağlanıp bağlanmadığını,veya fermuar tamamen fermuarlı) ayrıntılı özellikleri aracılığıyla.

Yüksek Concurrency İşleme: Her kareye 50'den fazla kişinin gerçek zamanlı olarak tespit edilmesini destekler. Kızılötesi görüntüleme teknolojisiyle birleştirildiğinde, "manual izleme"den "24/7 otomatik erken uyarı"ya atlayışı gerçekleştirir.

Şehir Yönetimi: Kentsel yönetim ve kapsamlı yönetim senaryoları, algoritmaların müdahale karşıtı yeteneğine yüksek gereksinimler getirir.

Statik Yönetim: Tarihi görüntü karşılaştırması ve semantik segmentasyonu birleştirerek, sistem yeni inşa edilen yasadışı yapıları, çöp birikimi veya iş yerleri için yol işgalini doğru bir şekilde tanımlayabilir.ve hatta otomatik olarak ihlallerin alanını ve hacmi.

Dinamik Güvenlik: Poz tanıma (OpenPose/YOLO-Pose) tabanlı sistem, "yere düşen kişi" gibi anormal davranışları hassas bir şekilde yakalayabilir ve acil tıbbi sistemlerle bağlantı kurabilir.,Gerçek zamanlı olarak kalabalık yoğunluğunu izlemek ve baskı risklerini önlemek için yoğunluk kümelenme algoritması (DBSCAN) kullanır.

Güç Denetimi:Multimodal FüzyonYeraltı kablo tünelleri veya yüksek voltajlı iletim kuleleri gibi yüksek riskli alanlarda: Lidar nokta bulutu ve kızılötesi termal görüntülemeyi birleştirerek,Transformör anormal ısıtma temas dışı algılama yapabilir, 30 metre mesafeden kapak sızıntısı akımı veya kule eğimi (0,1° doğrulukla).

Otomatik kusur yargısı: Kablo hasarı ve braket korozyonu gibi küçük gizli tehlikeler için, tanıma doğruluğu% 92'yi aştığından, işletme ve bakım verimliliğini büyük ölçüde arttırır ve personelin güvenliğini sağlar.

Orman Yangınlarının Önlenmesi: Büyük alan, düzensiz şekilli duman ve yangın tespiti için, YOLO son derece hızlı tepki yeteneğini göstermektedir.

Duman ve Yangının Tam Tanımlanması: Görüntü özelliklerini ve termal radyasyon verilerini birleştirerek, 2 saniye içinde orman yangınlarını, kamp yangınlarını veya tarım arazisinin yanmasını ayırt edebilir.Bulutlara ve bitki gölgelerine karşı son derece güçlü bir müdahale karşıtı yeteneğe sahip.

Durum Bilinci: GIS coğrafi bilgilerini ve rastgele orman modelini entegre ederek, sistem sadece yangını tespit etmekle kalmaz, rüzgar hızına ve araziye göre yayılma eğilimini de tahmin edebilir.Yerel programlama için görsel haritalar sağlamak.

RK3588/RK3576 için En Son Bilgisayar Gücü Optimizasyonu

Açıkçası, bir grafik kartında karşılaştırma sadece bir ısınma. YOLO'nun gerçekten dağıtılmasını ve uygulanmasını sağlayan şey, Rockchip'lerin RK3588 veya RK3576 gibi yonga büyüklüğündeki SoC'lere aktarılmasıdır.Bu basit bir kod göçü değil.Bu SoC platformlarında milisaniye düzeyinde nesne tespitini elde etmek için genellikle aşağıdaki adımlar gereklidir:

"Türümle" Model:Çipin NPU'su (Neural Processing Unit) kendi özelliklerine sahiptir ve PyTorch'un yerel.pt eğitim dosyalarını yorumlayamaz.Sonra da sökülüp yeniden yapılandırıldı.Çipin anlayabileceği.rknn formatı, karmaşık operatörlerin NPU tarafından tercih edilen hesaplama yollarına yeniden düzenlenmesini izler.

Sıkıştırma yoluyla "Sıkıştır": Yerel FP32 (32-bit hareketli nokta) modelleri, gömülü yongaların bant genişliğine ve depolama alanına ağır bir yük yükleyen çok sayıda parametreye sahiptir.Kuantasyon algoritmaları ağırlıkları ve etkinleştirmeleri 32 bitten 8 bit'e sıkıştırırBu, sadece DDR bant genişliği baskısını hafifletmekle kalmaz aynı zamanda hesaplama güç tüketimini de etkili bir şekilde düşürür.

"Veriler Aktarımı" Optimizasyonu: Modelle yeteri kadar hızlı olsa bile, CPU hafızada video akışlarını hareket ettirmekle meşgulse bile, NPU hala "boş yerde oturacak".DMA-BUF sıfır kopya teknolojisi, video belleğinde video akışı verilerinin ISP arasında paylaşılmasını sağlamak için kullanılırAsinkron çıkarım için paralel mantıkla birlikte,Sonraki çerçeve işleme için kuyruğa geçirilmişken, mevcut çerçeve hala kıvrım işlemlerine maruz kalmaktadır.Bu sorunsuz koordinasyon, gerçek zamanlı video akışlarının çip üzerinde sorunsuz çalışmasını sağlar.

Hangi YOLO versiyonunu tercih edersiniz?

Gömülü cihazlarda dağıtılırken, sürüm seçimi sadece "en sonun peşinde koşmak"la ilgili değildir; bunun yerine, hesaplama gücünü, operatör uyumluluğunu,ve belirli görevlerin doğruluk gereksinimleri.