از منطق الگوریتم تا استقرار در تراشه - جانبی: تکامل تشخیص شیء YOLO و عملکرد راک‌چیپ

وقتی در تقاطع راه ایستاده اید، تنها یک نگاه کوتاه برای مغزتان کافی است تا بلافاصله همه چیز را در میدان دیدتان برچسب بزند: اتوبوس قرمز به ایستگاه می رسد،بچه ای که روی پیاده روست داره میچرخهاین واکنش تقریباً شهودی زمانی برای کامپیوترها بسیار دشوار بود تا زمانی که YOLO به وجود آمد.شما فقط یک بار نگاه می کنید در لحظه ای که یک تصویر ضبط می شود، طبقه بندی و محل سازی به طور همزمان انجام می شود. این اجازه می دهد که تشخیص شی برای خداحافظی از جستجوهای کامل و مانند شهود انسانی،ماشین های واقعاً مجهز به ماهیت تفکر در زمان واقعی.

قبل از تولد یولو، عرصه دید کامپیوتری برای مدت طولانی تحت سلطه معماری دو مرحله ای بود.یک الگوریتم ابتدا باید هزاران پیشنهاد منطقه را استخراج کند، و سپس آنها را یک به یک طبقه بندی کنید. The genius of YOLO lies in that it completely overturned this cumbersome "proposal-then-verification" process and reconstructed object detection from a classification task into an end-to-end regression problem.

وقتی یک تصویر را وارد شبکه ی یولو می کنید، گره ی گوردیان را قطع می کند و تصویر را به صورت مستقیم به یک شبکه S*S تقسیم می کند. هر شبکه فقط یک تکه از تصویر نیست،اما همچنین یک نقطه ویژگی در تنسور خروجی شبکه.

پیش بینی تنسور یکپارچه: هر شبکه به طور مستقیم اطلاعات مختصات (x، y، w، h) جعبه های مرزی متعدد را پیش بینی می کند، و همچنین نمره اطمینان که نشان می دهد آیا یک شی در اینجا وجود دارد.

طبقه بندی موازی و محل سازی: در حالی که مختصات را پیش بینی می کند، هر شبکه همچنین مجموعه ای از احتمالات کلاس را محاسبه می کند.این به این معنی است که محل سازی و طبقه بندی به صورت کاملا موازی در خروجی همان لایه شبکه عصبی انجام می شود.

اتصال ویژگی های جهانی: با تشکر از طراحی تمام شبکه، این شبکه برای تصمیم گیری به اطلاعات جهانی از کل تصویر دسترسی دارد.در مقایسه با الگوریتم های سنتی که فقط بر پیشنهادات منطقه محلی تمرکز می کنند، این "نگرانی بزرگ تصویر" YOLO را قادر می سازد تا صدای پس زمینه را با دقت بیشتری شناسایی کند، و باعث می شود که احتمال اشتباه طبقه بندی ابرهای شکل نامنظم به عنوان پرندگان کمتر باشد.

بسیاری از مردم فکر می کنند که هوش مصنوعی دور است، اما صادقانه بگویم، YOLO مدت هاست که در گوشه هایی که ما نمی بینیم "با شدت رقابت" می کند.

سایت های ساختمانی هوشمند: در سایت های ساخت تونل پر از گرد و غبار یا با نور بسیار ضعیف، YOLOv9 توانایی استخراج ویژگی های بسیار قوی را نشان می دهد.

تشخیص انطباق رفتاری: نه تنها می تواند حضور یا عدم وجود کلاه ایمنی و جلیقه های بازتاب دهنده را تشخیص دهد، بلکه همچنین می تواند تعیین کند که آیا آنها به درستی پوشیده شده اند (به عنوان مثال آیا کمربند کلاه ایمنی بسته شده است،یا زیپ کاملا زیپ شده است) از طریق ویژگی های دقیق.

پردازش با سرعت بالا: از تشخیص در زمان واقعی در مقیاس بزرگ از بیش از 50 نفر در هر فریم پشتیبانی می کند. در ترکیب با فناوری تصویربرداری مادون قرمز، آن را از "مراقبت دستی" به "24/7 هشدار زودهنگام خودکار" انجام می دهد.

حکومت شهری: مدیریت شهری و سناریوهای حاکمیت جامع الزامات بالایی را بر توانایی ضد تداخل الگوریتم ها تحمیل می کنند.

مدیریت ثابت: با ترکیب مقایسه تصاویر تاریخی و بخش بندی معنایی، این سیستم می تواند ساختارهای غیرقانونی ساخته شده جدید، انباشت زباله یا اشغال جاده برای کسب و کار را به طور دقیق شناسایی کند.و حتی به طور خودکار اندازه گیری منطقه و حجم نقض.

امنیت پویا: بر اساس تشخیص حالت (OpenPose/YOLO-Pose) ، این سیستم می تواند رفتارهای غیرطبیعی مانند "شخصی که به زمین می افتد" را به طور حساس به دست آورد و با سیستم های پزشکی اورژانسی ارتباط برقرار کند.,از الگوریتم جمع بندی تراکم (DBSCAN) برای نظارت بر تراکم جمعیت در زمان واقعی استفاده می کند و از خطرات آشفتگی جلوگیری می کند.

بازرسی قدرت:فیوژن چند روشیدر مناطق با خطر بالا مانند تونل های زیرزمینی کابل یا برج های انتقال ولتاژ بالا: با ترکیب ابر نقطه لیدار و تصویربرداری حرارتی مادون قرمز،می تواند تشخیص بدون تماس از گرمایش غیر طبیعی ترانسفورماتور را انجام دهد.، جریان خروجی گیرنده یا شیب برج (با دقت 0.1°) از فاصله 30 متر.

قضاوت اتوماتیک نقص: برای خطرات پنهان جزئی مانند آسیب به کابل و خوردگی براکت، دقت تشخیص بیش از 92٪ است که به طور قابل توجهی کارایی عملیات و نگهداری را بهبود می بخشد و ایمنی پرسنل را تضمین می کند.

پیشگیری از آتش سوزی جنگل: برای تشخیص دود و آتش در مناطق بزرگ و شکل نامنظم، YOLO توانایی پاسخ بسیار سریع را نشان می دهد.

شناسایی دقیق دود و آتش: با ترکیب ویژگی های تصویر و داده های تشعشع حرارتی، می تواند آتش سوزی جنگل، آتش سوزی کمپ یا سوختن زمین های کشاورزی را در عرض 2 ثانیه تشخیص دهد،با قابلیت ضد تداخل بسیار قوی در برابر ابرها و سایه های پوشش گیاهی.

آگاهی از وضعیت: با ادغام اطلاعات جغرافیایی GIS و مدل جنگل تصادفی، این سیستم نه تنها می تواند آتش را تشخیص دهد، بلکه می تواند روند گسترش را بر اساس سرعت باد و زمین پیش بینی کند.ارائه نقشه های بصری برای برنامه ریزی در محل.

بهینه سازی قدرت محاسباتی نهایی برای RK3588 / RK3576

صادقانه، مقایسه بر روی یک کارت گرافیکی فقط یک گرم کردن است. آنچه واقعاً امکان پیاده سازی و پیاده سازی YOLO را فراهم می کند این است که آن را به SoC های اندازه تراشه مانند Rockchip RK3588 یا RK3576 منتقل کنید.این فقط یک مهاجرت کد ساده نیستبرای دستیابی به تشخیص شی در سطح میلی ثانیه در این سیستم عامل های SoC، مراحل زیر به طور معمول مورد نیاز است:

مدل رو ترجمه کن:NPU (Neural Processing Unit) تراشه دارای مشخصات خاص خود است و نمی تواند فایل های آموزشی.pt بومی PyTorch را تفسیر کند. با استفاده از RKNN-Toolkit2 ، مدل به فرمت ONNX تبدیل می شود ،و بعدش جداش کرد و دوباره ساختش کرد.rknn فرمت که تراشه می تواند درک کند مشاهده آپراتورهای پیچیده به مسیرهای محاسباتی که توسط NPU مورد علاقه قرار می گیرد، تغییر شکل می دهد.

"از طریق فشرده سازی" کاهش وزن: مدل های بومی FP32 (32-bit floating-point) دارای تعداد زیادی پارامتر هستند که بار سنگین بر پهنای باند و ذخیره سازی تراشه های جاسازی شده اعمال می کنند.الگوریتم های کوانتیزاسیون وزن ها و فعال سازی ها را از 32 بیتی به 8 بیتی فشرده می کننداین امر نه تنها فشار پهنای باند DDR را کاهش می دهد بلکه مصرف قدرت محاسباتی را نیز به طور موثر کاهش می دهد.

بهینه سازی انتقال داده: حتی اگر مدل به اندازه کافی سریع باشد، NPU هنوز هم اگر CPU مشغول حرکت جریان های ویدئویی در حافظه باشد "بیکار" می ماند.تکنولوژی DMA-BUF استفاده می شود تا به اشتراک گذاری داده های جریان ویدئویی در حافظه ویدئویی بین ISP امکان پذیر شود.،گروه پردازنده و NPU ، کاملاً از سر هزینه کپی کردن CPU خلاص میشنفریم بعدی در حال حاضر برای پردازش در انتظار است در حالی که فریم فعلی هنوز در حال انجام عملیات پیچیدگی استاین هماهنگی بی نقص چیزی است که اجازه می دهد جریان های ویدئویی در زمان واقعی به راحتی روی تراشه اجرا شوند.

کدام نسخه ی یولو را انتخاب می کنید؟

هنگامی که در دستگاه های جاسازی شده استفاده می شود، انتخاب نسخه به سادگی در مورد "پیروی از آخرین" نیست؛ در عوض، نیاز به تعادل قدرت محاسباتی، سازگاری اپراتور،و الزامات دقت وظایف خاص.