Collisions with birds cause damage to aircraft and in some cases can even cause air travel accidents. According to data from international organizations such as the Federal Aviation Administration (FAA), the radar-based tools currently used to address this problem do not solve it, as there is no indication of a decrease in the number of bird strikes. Early detection and notification to pilots of the presence of birds is key to trying to minimize the possibility that bird impacts can occur. The objective of this project is to improve bird detection capacity in the airport environment. To achieve this goal, this work proposes that the solution could be the use of artificial intelligence based devices and computer vision. To test this hypothesis, a model based on convolutional neural networks (CNN) is selected, trained and deployed on a device for testing. To do this, research is carried out on the different strategies used to solve problems with artificial intelligence and the performance of pre-trained classifier and detector models available. To select the computer board where the model will be deployed, a discussion of Raspberry Pi’s market performance is made. A collection of bird images is made for training the model. The prototype will finally consist of deploying the model on a Raspberry Pi that through a script in Python programming language is able to automatically notice birds in the real world using a camera connected to the Raspberry Pi. If any detection occurs, the model is capable of making a notification that could serve to anticipate impacts and thus allow appropriate preventive measures to be taken beforehand. In conclusion, this technology shows great potential to support existing solutions today. Theoretical results with validation images show accuracy and recall parameters above 90% but experimental tests with the prototype do not allow for a conclusive judgment due to limitations regarding the training data set.

1. Computer vision for bird strike prevention
Juliol 2023
Doble grau Enginyeria
de Sistemes
Aeroespacials i Sistemes
de Telecomunicacions
Directors: Alberto Burgos
Francisco Javier Mora
Autor: Adrià Ibáñez

2. 1
MOTIVACIÓ
● El 90% dels impactes es produeixen en l’entorn
aeroportuari
● En el 57% dels impactes amb aus el pilot no fou
advertit de la seva presència (FAA 1990-2023)
Computer vision for bird strike prevention
[1] Federal Aviation Administration. Wildlife Hazard
Mitigation. [Online] Available: https://wildlife.faa.gov/home.

3. 2
MOTIVACIÓ
● Solament el 30% de grans aus solitàries vistes pels
observadors de camp en un radi de 4 km del radar van
ser detectats.
● Entre el 40 i el 80% dels estols d’ocells van ser
detectats.
Computer vision for bird strike prevention
[2] Skybrary. Detection of Bird Activity Using Radar. [Online] Available:
https://skybrary.aero/articles/detection-bird-activity-using-radar

4. 3
Millorar la capacitat de detecció d’aus en l’entorn aeroportuari
OBJECTIU I HIPÒTESI
Computer vision for bird strike prevention
Es pot donar una solució basada en l’ús d’IA

5. ÍNDEX
4
Computer vision for bird strike prevention
01 METODOLOGIA DE TREBALL
02
RECERCA
Estratègia
Model
03
DESENVOLUPAMENT
Entrenament
Hardware
Prototip
04
TEST/VALIDACIÓ
Mètriques
Grad-Cam
Món real
05 MILLORES I APLICACIONS
06 CONCLUSIONS

6. 5
Recerca Desenvolupament
Quina estratègia a
emprar?
Com crear i
entrenar el model?
Creació d’un
dataset propi
Paràmetres
d’avaluació
Estudi
d’explicabilitat
Entrenament
d’un model
METODOLOGIA DE TREBALL
Test al món
real
Computer vision for bird strike prevention
Test/Validació

7. ESTRATÈGIA
6
Recerca Computer vision for bird strike prevention

8. 7
MODEL
Recerca Computer vision for bird strike prevention
Strategy Model Parameters Size Execution Time
(ms)
Classification MobileNetV1 3.23M 13.2MB 83
Classification MobileNetV2 2.26M 9.5MB 83
Classification InceptionV3 21.81M 88.1MB 150
Detection SSD-MobileNetV1 5.51M 22.7MB 230
Detection SSD-MobileNetV2 3.87M 16.4MB 225
Detection SSD-InceptionV2 13.3M 54.0MB 700
[3] Kolosov, D., &
Kelefouras, V. (2022).
Anatomy of Deep
Learning Image
Classification and Object
Detection on Commercial
Edge Devices: A Case
Study on Face Mask
Detection. University of
Patras.

9. 8
MODEL
Recerca Computer vision for bird strike prevention

10. 9
MODEL
Recerca Computer vision for bird strike prevention

11. 10
DATASET
● 1538 imatges
d’aus
● 1902 imatges de
no-aus
● Imatges mirant al
zenit
Desenvolupament Computer vision for bird strike prevention

12. 12
Desenvolupament Computer vision for bird strike prevention
AUGMENTACIÓ
11
FLIP ROTATION
CONTRAST

13. 13
Desenvolupament Computer vision for bird strike prevention
FUNCIÓ DE PÈRDUES
12
Binary Cross-Entropy Loss

14. 14
Desenvolupament Computer vision for bird strike prevention
TRANSFER LEARNING I FINE-TUNING
13

15. 15
Desenvolupament Computer vision for bird strike prevention
TRANSFER LEARNING I FINE-TUNING
14

16. 16
Desenvolupament Computer vision for bird strike prevention
QUANTITZACIÓ
15
● Obtenció arxiu .tflite
● Guardar pesos en valor enter 8 bits

17. 16
● Raspberry Pi 4B
○ Ports DSI
○ USB càrrega
○ GPIO
○ Procesador 8 GB RAM
○ Accés inalàmbric
HARDWARE: PLACA COMPUTADORA
Desenvolupament Computer vision for bird strike prevention
Familia Model RAM Wireless
Raspberry Pi A+/B+ 512MB No
Raspberry Pi 2 B 1GB No
Raspberry Pi 3
B+ 1GB
Sí
A+ 512MB
Raspberry Pi 4 B 1/2/4/8 GB Sí
Raspberry Pi Zero
Zero
512MB
No
W/WH/2W Sí

18. 16
● Càmera Raspberry Pi
○ Resolució 8MP
● LCD screen
○ Aspect ratio 800x480 pixels
HARDWARE: DISPOSITIUS PERIFÈRICS
Desenvolupament Computer vision for bird strike prevention

19. 17
PROTOTIP
Desenvolupament Computer vision for bird strike prevention
Bird

20. 18
MÈTRIQUES
TRUE
POSITIVE
TRUE
NEGATIVE
FALSE
POSITIVE
FALSE
NEGATIVE
CLASSIFICA AUS NO AUS AUS NO AUS
REALMENT
ÉS
AUS NO AUS NO AUS AUS
VEU
CONFUSION MATRIX
Test/Validació Computer vision for bird strike prevention
NO SON AUS SON AUS
PREDIU
NO AUS 366 13
PREDIU
AUS 13 280

21. 19
GRAD-CAM
AMB AUS
Test/Validació Computer vision for bird strike prevention

22. 20
GRAD-CAM
SENSE AUS
Test/Validació Computer vision for bird strike prevention

23. 21
MÓN REAL
Test/Validació Computer vision for bird strike prevention

24. 22
MÓN REAL: AUS
Test/Validació Computer vision for bird strike prevention

25. 23
MÓN REAL: OBJECTES DESCONEGUTS
Test/Validació Computer vision for bird strike prevention

26. 24
MÓN REAL: CONTRAILS
Test/Validació Computer vision for bird strike prevention

27. 25
MÓN REAL: NÚVOLS
Test/Validació Computer vision for bird strike prevention

28. 26
MÓN REAL: FALSOS NEGATIUS
Test/Validació Computer vision for bird strike prevention

29. 27
APLICACIONS
Computer vision for bird strike prevention

30. 28
PROPOSTES DE MILLORA
Computer vision for bird strike prevention
MODEL
● Ampliar el dataset d’imatges
● Assajar amb un model pre-entrenat que contempli més paràmetres
HARDWARE
● Provar una càmera amb major resolució i/o major rang de visió
PROTOTIP
● Millorar el disseny i acabat

31. 29
CONCLUSIONS
● Es pot desenvolupar un sistema
de detecció d’aus mitjançant
intel·ligència artificial amb
limitacions.
○ Depenent de la òptica
○ Requereix un dataset
més complet
○ Gestió dels falsos positius
i negatius
● Caldria realitzar un test A/B
Computer vision for bird strike prevention

32. 30
PREGUNTES I QÜESTIONS
Computer vision for bird strike prevention