Edge AI: mašininio mokymosi modelių paleidimas IoT įrenginiuose
Tradicinis mašininio mokymosi diegimo modelis yra paprastas: apmokykite modelį debesyje, pateikite jį per API ir leiskite kraštiniams įrenginiams siųsti duomenis į debesį išvadoms. Tai veikia, kol nebeveikia — kai tinklo vėlavimas daro realaus laiko sprendimus neįmanomus, kai pralaidumo kaštai jutiklių duomenų srautui tampa pernelyg dideli, kai privatumo reguliavimai neleidžia siųsti neapdorotų duomenų iš įrenginio arba kai ryšio tiesiog nėra. Edge AI apverčia šį modelį, vykdydamas išvadas tiesiogiai įrenginyje, kuriame generuojami duomenys.
Modelių suspaudimas ir kvantizavimas
Pažangus vaizdų klasifikavimo modelis gali būti 500MB su 25 milijonais parametrų — per didelis mikrovaldikliui su 256KB RAM. Tiltas nuo debesies masto modelių iki kraštui diegiamų apima kelias suspaudimo technikas, taikomas kartu. Karpymas pašalina svorius, kurie mažai prisideda prie modelio tikslumo, paprastai sumažindamas dydį 50-90%. Žinių distiliavimas apmoko mažesnį „mokinio" modelį imituoti didesnio „mokytojo" modelio išvestis. Kvantizavimas konvertuoja 32 bitų slankiojo kablelio svorius į 8 bitų sveikuosius skaičius, sumažindamas dydį 4 kartus ir dažnai išsaugodamas 95-99% pradinio tikslumo.
Vykdymo aplinkos pasirinkimai: TensorFlow Lite ir ONNX Runtime
Dvi vykdymo aplinkos dominuoja edge ML diegime. TensorFlow Lite (TFLite) yra brandiausias pasirinkimas mikrovaldikliams ir mobiliesiems įrenginiams, su puikiu ARM aparatūros palaikymu ir gerai dokumentuotu konvertavimo konvejeriu. Micro variantas veikia bare-metal įrenginiuose su vos 16KB atminties. Microsoft palaikomas ONNX Runtime siūlo platesnį karkasų suderinamumą — galite eksportuoti modelius iš PyTorch, TensorFlow, scikit-learn į ONNX tarpinį formatą. Praktiškai palyginimo testais patikrinkite abi vykdymo aplinkas savo tikslinėje aparatūroje — išvadų greitis, atminties pėdsakas ir tikslumas po kvantizavimo gali reikšmingai skirtis.
Aparatūros aspektai kraštiniam diegimui
Tinkamos aparatūros platformos pasirinkimas priklauso nuo jūsų išvadų reikalavimų, energijos biudžeto ir kaštų apribojimų:
- Mikrovaldikliai (ARM Cortex-M): idealūs nuolatiniam raktažodžių aptikimui, vibracijos analizei ir paprastam anomalijų aptikimui. Energijos suvartojimas žemiau 1mW leidžia baterijomis maitinti metus. Ribojama iki modelių iki 1MB.
- Kraštiniai SoC (NVIDIA Jetson, Google Coral): teikia GPU arba TPU pagreitinimą realaus laiko kompiuterinei vizijai ir NLP krašte. Gali paleisti pilnus neuroninius tinklus su šimtais milijonų parametrų 15-30 FPS greičiu. Energijos suvartojimas nuo 5W iki 30W.
- FPGA ir pasirinktiniai ASIC: didelės apimties diegimams, kur svarbus vieneto kaina ir energijos efektyvumas, pasirinktinis silikonas teikia geriausią našumą vatui. Kompromisas — ilgi kūrimo ciklai ir didelės pradinės NRE išlaidos.
Edge AI nėra debesies ML pakaitalas, o galingas papildymas. Efektyviausios architektūros naudoja hibridinį požiūrį: kraštiniai įrenginiai apdoroja realaus laiko išvadas ir vietinius sprendimus, periodiškai sinchronizuojantis su debesimi modelių atnaujinimams, agreguotai analitikai ir mokymuisi iš naujo. Aparatūros greitintuvams pigstant ir tampant pajėgesniais, krašte diegiamų modelių spektras tik plėsis. OKINT Digital padeda komandoms naviguoti visą edge AI konvejerį — nuo modelių optimizavimo iki OTA atnaujinimo strategijų.
Norite aptarti šias temas nuodugniau?
Mūsų komanda pasiruošusi architektūros peržiūroms ir strateginėms sesijoms.
Suplanuoti konsultaciją →