Uç Yapay Zeka: IoT Cihazlarında Makine Öğrenmesi Modellerini Çalıştırma

Geleneksel makine öğrenmesi dağıtım modeli basittir: bulutta bir model eğitin, bir API arkasında sunun ve uç cihazların çıkarım için verileri buluta göndermesini sağlayın. Bu, işe yaramadığı ana kadar çalışır — ağ gecikmesi gerçek zamanlı kararları imkansız kıldığında, sensör verilerini akış için bant genişliği maliyetleri aşırı hale geldiğinde, gizlilik düzenlemeleri ham verilerin cihazdan gönderilmesini engellediğinde veya bağlantı basitçe mevcut olmadığında. Uç yapay zeka, çıkarımı doğrudan verilerin üretildiği cihazda çalıştırarak bu modeli tersine çevirir. Nesneleri yerel olarak sınıflandıran bir güvenlik kamerası, ana merkeze ulaşmadan anomalileri tespit eden bir fabrika sensörü, bilekte aritmileri tanımlayan tıbbi bir giyilebilir cihaz — bunlar varsayımsal senaryolar değil, bugün endüstriler genelinde gerçekleşen üretim dağıtımlarıdır.

Model Sıkıştırma ve Niceleme

Son teknoloji bir görüntü sınıflandırma modeli 25 milyon parametreyle 500MB olabilir — 256KB RAM'e sahip bir mikrodenetleyici için çok büyük. Bulut ölçekli modellerden uca dağıtılabilir modellere köprü, birleştirilmiş olarak uygulanan çeşitli sıkıştırma tekniklerini içerir. Budama, model doğruluğuna az katkıda bulunan ağırlıkları kaldırır, tipik olarak model boyutunu minimum doğruluk kaybıyla %50-90 azaltır. Bilgi damıtma, daha büyük bir "öğretmen" modelinin çıktılarını taklit etmek için daha küçük bir "öğrenci" modeli eğitir. Niceleme, 32-bit kayan nokta ağırlıklarını 8-bit tam sayılara veya daha düşük hassasiyete dönüştürerek model boyutunu 4 kat azaltır ve genellikle orijinal doğruluğun %95-99'unu korur.

Çalışma Zamanı Seçenekleri: TensorFlow Lite ve ONNX Runtime

İki çalışma zamanı uç ML dağıtımına hakim. TensorFlow Lite (TFLite), mikrodenetleyiciler ve mobil cihazlar için en olgun seçenektir, ARM tabanlı donanım için mükemmel destek ve TensorFlow modellerinden iyi belgelenmiş bir dönüştürme süreci sunar. Micro varyantı 16KB kadar az belleğe sahip çıplak metal cihazlarda çalışır. Microsoft tarafından desteklenen ONNX Runtime, daha geniş çerçeve uyumluluğu sunar — PyTorch, TensorFlow, scikit-learn ve diğer çerçevelerden modelleri ONNX ara biçimine dışa aktarabilir ve tek bir çalışma zamanıyla çalıştırabilirsiniz. Pratikte, her iki çalışma zamanını da hedef donanımınızda kıyaslayın — çıkarım hızı, bellek alanı ve niceleme sonrası doğruluk, model mimarisine bağlı olarak aralarında önemli ölçüde değişebilir.

Uç Dağıtımı için Donanım Konuları

Uç yapay zeka, bulut tabanlı ML'nin yerini alan bir şey değil, güçlü bir tamamlayıcısıdır. En etkili mimariler hibrit bir yaklaşım kullanır: uç cihazlar gerçek zamanlı çıkarım ve yerel karar vermeyi yönetirken, periyodik olarak model güncellemeleri, toplu analitikler ve taze veriler üzerinde yeniden eğitim için bulutla senkronize olur. Donanım hızlandırıcıları daha ucuz ve daha yetenekli hale geldikçe ve sıkıştırma teknikleri gelişmeye devam ettikçe, uçta dağıtılabilir modellerin yelpazesi yalnızca büyüyecektir. OKINT Digital olarak, ekiplerin tüm uç yapay zeka hattında yol almasına yardımcı oluyoruz — model optimizasyonundan donanım seçimine, dağıtım düzenlemesinden uç modelleri kesinti olmadan güncel tutan OTA güncelleme stratejilerine kadar.