è possible rinoscere e contare oggetti inquadrati con una telecamera connessa ad Rasperry PI e visualizzare i risultati in una dashbaord realtime di Power BI? Certo che sì anche se non siete dei data scientist!

1. Custom Vision on Edge Device

2. Alessio Biasiutti
Azure Solution Architect
Microsoft P-TSP
alessiobiasiutti
abiasiutti@altitudo.com
Un ringraziamento speciale ad Alvise per avermi
prestato Thor!

3. Thanks to

4. AGENDA
• Edge device come, quando, perché?
• Demo
• Architettura
• Raspberry PI
• IoT Edge / IoT Hub
• Custom Vision
• Edge Stream Analytics
• Riepilogo

5. •Necessità di comandi e controlli Low-latency
•Connettività limitata al cloud
•Bandwidth limitata
•Compliance
•Privacy
•Necessità di limitare i dati verso il cloud (immagini, video,
audio)
•Si ha bisogno di AI/ML all’interno del device
Edge device come, quando, perché?

6. Applicazioni
Articoli mancanti negli
scafali dei supermercati

7. Applicazioni
Rilevamento persone in coda
o in una stanza
5 min10 min
20 min

8. Applicazioni
Rilevamento traffico
Parcheggi

9. Applicazioni
Analisi audio e vibrazioni per
rilevamento anomalie

10. Demo

11. Cosa Serve?
Camera Capture
Custom Vision
Stream Analytics
Power BI
IoT Edge Runtime
Raspberry Pi 3 B+
IoT Hub ASA
Azure
Azure
Container
Regestry

12. Hardware
• Broadcom BCM2837B0, Cortex-A53 (ARMv8) 64-bit SoC @ 1.4GHz
• 1GB LPDDR2 SDRAM
• 2.4GHz and 5GHz IEEE 802.11.b/g/n/ac wireless LAN, Bluetooth 4.2,
BLE
• Gigabit Ethernet over USB 2.0 (maximum throughput 300 Mbps)
• Full-size HDMI
• 4 USB 2.0 ports
• CSI camera port for connecting a Raspberry Pi camera
• DSI display port for connecting a Raspberry Pi touchscreen display
• 4-pole stereo output and composite video port
• Micro SD port for loading your operating system and storing data
• 5V/2.5A DC power input
• Power-over-Ethernet (PoE) support (requires separate PoE HAT)

13. IoT Edge
▪ IoT Edge Runtime
▪ IoT Edge Hub
▪ IoT Edge Agent
▪ Module input/output
▪ Module communication
▪ Routes
▪ Multiple architectures
(Intel or ARM CPUs)
▪ Raspberry Pi
▪ Industrial PCs
▪ Dedicated field gateways
▪ Servers

14. Firmware update / Monitor

15. Modulo Custom Vision
Pro
• Non serve sapere nulla di AI / Reti Neurali / Python
• Non serve HW dedicato
• Ideale per creare prototipi velocemente
• Ideale anche per ambienti di produzione
• Sicurezza e privacy

16. Custom Vision Object Detection

17. Custom Vision Container
• App
• App.py: start server http
• Labels.txt
• Model.pb: modello TensorFlow
• Object_detection.py: engine
• Predict.py: modulo per eseguire
l’evalute del modello
• DockerFile
• ReadMe.txt
• REST API per valutazione
immagini

18. Valutazione Immagine
• Molti risultati con probabilità
bassa
• Impostare un filtro
• Eliminare quelli sovrapposti

19. Camera Capture Container
• Modulo Python
• Utilizzo di OpenCV
• Chiama direttamente Custom Vision via HTTP
• Riquadra l’immagine con i bounding box di ritorno da CV
• Emette l’immagine via WebSocket (debug)
• Ricompilare OpenCV per Arm32v7

20. Edge Stream Analytics
• Query SQL
• Funzionalità simili alla versione
cloud
• UDF in C# (no JavaScript)
• Conta il numero di oggetti e
trasforma il risultato complesso di
Custom Vision

21. Deploy
Container
Camera Capture
Stream Analytics
Engine
Deployment
manifest
Job Definition
Container
Custom Vision

22. Tips and Tricks

23. Riepilogando
Camera Capture
Custom Vision
Stream Analytics
Power BI
IoT Edge Runtime
Raspberry Pi 3 B+
IoT Hub ASA
Azure
Azure
Container
Regestry

24. Uno sguardo veloce al codice

25. Question time

26. Thank you!!!!

27. Thanks to