OWASP Machine Learning Security Top 10, 2023 Edition (Draft release v0.2) (Türkçe Çeviri)

2
OWASP Makine Öğrenmesi Güvenliği İlk 10
İçindekiler
Önsöz........................................................................................................................................... 4
Bilgilendirme ................................................................................................................................ 4
Copyright and License................................................................................................................ 4
Proje Liderleri............................................................................................................................ 4
Değerlendirenler ve Katkıda Bulunanlar...................................................................................... 4
AISecLab Türkçe Çeviri Ekibi....................................................................................................... 4
ML01:2023: Düşmanca Saldırı........................................................................................................ 5
Tanım:...................................................................................................................................... 5
Saldırı Senaryosu Örneği:........................................................................................................... 5
Nasıl Önlenir:............................................................................................................................ 5
ML02:2023: Veri Zehirlenmesi Saldırısı ........................................................................................... 7
Tanım:...................................................................................................................................... 7
Nasıl Önlenir:............................................................................................................................ 8
ML03:2023: Model Ters Çevirme Saldırısı ....................................................................................... 9
Tanım:...................................................................................................................................... 9
Nasıl Önlenir:...........................................................................................................................10
ML04:2023: Üyelik Çıkarım Saldırısı...............................................................................................11
Tanım:.....................................................................................................................................11
Saldırı Senaryosu Örneği:..........................................................................................................11
Nasıl Önlenir:...........................................................................................................................11
ML05:2023: Model Çalma.............................................................................................................13
Tanım:.....................................................................................................................................13
Nasıl Önlenir:...........................................................................................................................13
ML06:2023: Bozuk Paketler..........................................................................................................15
Tanım:.....................................................................................................................................15
Nasıl Önlenir:...........................................................................................................................15
ML07:2023: Transfer Öğrenme Saldırısı.........................................................................................17
Tanım:.....................................................................................................................................17
Nasıl Önlenir:...........................................................................................................................17
ML08:2023: Model Eğriliği ............................................................................................................19

3
Tanım:.....................................................................................................................................19
Nasıl Önlenir:...........................................................................................................................20
ML09:2023: Çıktı Bütünlüğü Saldırısı .............................................................................................21
Tanım:.....................................................................................................................................21
Nasıl Önlenir:...........................................................................................................................21
ML10:2023: Sinir Ağı (NN) Yeniden Programlama...........................................................................23
Tanım:.....................................................................................................................................23
Nasıl Önlenir:...........................................................................................................................23

4
Önsöz
OWASP Makine Öğrenmesi Güvenliği İlk 10 yazısı, Yapay Zekada Siber Güvenlik & Siber Güvenlikte
Yapay Zeka zafiyetleri ve bunlara yönelik alınabilecek önlemler üzerine yapılan çalışmaları ele alıyor.
AISecLabolarak bu alandaki Türkçe kaynakların yetersizliği ve hızlı gelişenteknolojiyigörüyorve buna
yönelik çalışmalarına devam ediyoruz.
Bilgilendirme
Copyright and License
Tüm hakları OWASP kuruluşuna aittir. Bu doküman “Creative
Commons Attribution ShareAlike 4.0” lisansı altında
yayımlanmıştır. Dokümanın yeniden kullanımı veya dağıtımı
esnasında bu lisans göz önünde bulundurulmalıdır.
Proje Liderleri
• Abraham Kang
• Shain Singh
• Sagar Bhure
• Rob van der Veer
Değerlendirenler ve Katkıda Bulunanlar
• Vamsi Suman Kanukollu
• M S Nishanth
• Buchibabu Bandarupally
• Jamieson O'Reilly
• Ashish Kaushik
• Jakub Kaluzny
• David Ottenheimer
• Haral Tsitsivas
AISecLab (aiseclab.org) Türkçe Çeviri Ekibi
• Mentor: Cihan Özhan
• Editör: Gözde Sarmısak
• Çevirmen: Furkan Berk Koçoğlu

5
ML01:2023: Düşmanca Saldırı
Tehdit(Threat) aracıları/Saldırı
vektörleri
Güvenlik Zaafiyetleri Etki
Sömürülebilirlik: 5 (Sömürülmesi
kolay)
ML Uygulama Özel: 4
ML İşlemlere Özel: 3
Tespit Edilebilirlik: 3
(Düşmanca görüntü çıplak gözle
fark edilmeyebilir, bu da saldırının
tespit edilmesini zorlaştırır)
Teknik: 5
(Saldırı, derin öğrenme ve görüntü
işleme teknikleri hakkında teknik
bilgi gerektirir)
Tehdit Aracısı: Derin öğrenme ve
görüntü işleme teknikleri bilgisine
sahip saldırgan
Saldırı Vektörü: Meşru bir
görüntüye benzeyen kasıtlı olarak
hazırlanmış düşmanca görüntü
Derin öğrenme modelinin
görüntüleri doğru bir şekilde
sınıflandırma yeteneğindeki
güvenlik açığı
Görüntünün yanlış sınıflandırılması,
güvenliğin atlanmasına veya sisteme
zarar verilmesine yol açar
Bu grafiğin yalnızca aşağıdaki senaryoya dayanan bir örnek olduğunu ve gerçek risk
değerlendirmesinin her makine öğrenimi sisteminin özel koşullarına bağlı olacağını belirtmek
önemlidir.
Tanım: Düşmanca saldırılar, bir saldırganın modeli yanıltmak için giriş verilerini kasıtlı olarak
değiştirdiği bir saldırı türüdür.
Saldırı Senaryosu Örneği:
Senaryo 1: Görüntü sınıflandırma
Derin öğrenme modeli,görüntüleriköpeklerve kediler gibi farklı kategorilere ayırmak için eğitilmiştir.
Bir saldırgan, bir kedinin meşru görüntüsüne çok benzeyen düşmanca bir görüntü oluşturur, ancak
modelin onu bir köpek olarak yanlış sınıflandırmasına neden olan küçük, özenle hazırlanmış
karışıklıklarla. Model gerçek dünya ortamında dağıtıldığında, saldırgan güvenlik önlemlerini atlamak
veya sisteme zarar vermek için düşmanca görüntüyü kullanabilir.
Senaryo 2: Networke izinsiz giriş algılama
Derin öğrenme modeli, bir ağdaki izinsiz girişleri algılamak için eğitilir. Saldırgan, paketleri modelin
izinsiz giriş algılama sisteminden kaçacak şekilde dikkatli bir şekilde oluşturarak düşmanca ağ trafiği
oluşturur. Saldırgan, ağ trafiğinin kaynak IP adresi, hedef IP adresi veya yük gibi özelliklerini, izinsiz
giriş algılama sistemi tarafından algılanmayacak şekilde işleyebilir. Örneğin, saldırgan kaynak IP
adresini bir proxy sunucunun arkasına gizleyebilir veya ağ trafiğinin yükünü şifreleyebilir. Bu tür
saldırıların veri hırsızlığına, sistemin tehlikeye girmesine veya diğer hasar biçimlerine yol
açabileceğinden ciddi sonuçları olabilir.
Nasıl Önlenir:
Düşmanca eğitim: Düşmanca saldırılara karşı savunmaya yönelik bir yaklaşım, modeli düşmanca
örnekler üzerinde eğitmektir. Bu, modelin saldırılara karşı daha sağlam hale gelmesine ve yanlış
yönlendirilmeye karşı duyarlılığını azaltmasına yardımcı olabilir.

6
Sağlam modeller: Diğer bir yaklaşım, düşmanca eğitim veya savunma mekanizmalarını içeren
modeller gibi düşmanca saldırılara karşı sağlam olacak şekilde tasarlanmış modelleri kullanmaktır.
Giriş doğrulaması: Giriş doğrulaması, düşmanca saldırıları tespit etmek ve önlemek için
kullanılabilecek bir başka önemlisavunmamekanizmasıdır.Bu, giriş verilerinin beklenmeyendeğerler
veya desenler gibi anormallikler için denetlenmesini ve kötü amaçlı olması muhtemel girişlerin
reddedilmesini içerir.

7
ML02:2023: Veri Zehirlenmesi Saldırısı
vektörleri
Sömürülebilirlik: 3 (Sömürülmesiorta
seviye)
(Limitli)
Teknik: 4
Tehdit Aracısı: Model için kullanılan
eğitim verilerine erişimi olan
saldırgan.
Saldırı Vektörü: Saldırgan, eğitim veri
kümesine kötü amaçlı veriler ekler.
Veri doğrulama eksikliği ve
eğitim verilerinin yetersiz
izlenmesi.
Model, zehirli verilere dayanarak
yanlış tahminlerde bulunacak ve
yanlış kararlara ve potansiyel
olarak ciddi sonuçlara yol
açacaktır.
önemlidir.
Tanım:
Verizehirlenmesisaldırıları, bir saldırgan modelinistenmeyenbir şekilde davranmasına neden olmak
için eğitim verilerini değiştirdiğinde oluşur.
Senaryo 1: Spam sınıflandırıcısını eğitme
Bir saldırgan, e-postaları spam olarak veya spam olmayan olarak sınıflandıran bir derin öğrenme
modelinin eğitim verilerini zehirler. Saldırgan bu saldırıyı, kötü amaçlı olarak etiketlenmiş spam e-
postaları eğitim veri kümesine enjekte ederek gerçekleştirir. Bu, veri depolama sistemini tehlikeye
atarak, örneğin ağa girerek veya veri depolama yazılımındaki bir güvenlik açığından yararlanarak
yapılabilir. Saldırgan, e-postaların etiketlenmesini tahrif ederek veya yanlış etiketler sağlamaları için
veri etiketleyicilerine rüşvet vererek veri etiketleme işlemini de değiştirebilir.
Senaryo 2: Ağ trafiği sınıflandırma sistemini eğitme
Bir saldırgan, ağ trafiğini e-posta, web'de gezinme ve video akışı gibi farklı kategorilerde
sınıflandırmak için kullanılan bir derin öğrenme modelinin eğitim verilerini zehirler. Bunlar, yanlış bir
şekilde farklı bir trafik türü olarak etiketlenmiş çok sayıda ağ trafiği örneği sunarak, modelin bu trafiği
yanlış kategori olarak sınıflandırmak üzere eğitilmesine neden olur. Sonuç olarak, model

8
dağıtıldığında yanlış trafik sınıflandırmaları yapmak üzere eğitilebilir ve bu da ağ kaynaklarının yanlış
tahsis edilmesine veya ağ performansının düşmesine neden olabilir.
Nasıl Önlenir:
Veri doğrulama ve onaylama: Modeli eğitmek için kullanılmadan önce eğitim verilerinin kapsamlı bir
şekilde doğrulandığından ve doğrulandığından emin olun. Bu, veri doğrulama denetimleri
uygulayarak ve veri etiketlemenin doğruluğunu doğrulamak için birden fazla veri etiketleyici
kullanarak yapılabilir.
Güvenli veri depolama: Eğitim verilerini şifreleme, güvenli veri aktarım protokolleri ve güvenlik
duvarları kullanma gibi yöntemlerle güvenli bir şekilde depolayın.
Veri ayırma: Eğitim verilerini tehlikeye atma riskini azaltmak için eğitim verilerini üretim verilerinden
ayırın.
Erişim denetimi: Eğitim verilerine kimlerin ve ne zaman erişebileceklerini sınırlamak için erişim
denetimleri uygulayın.
İzleme ve denetim: Herhangi bir anormallik için seminer verilerini düzenli olarak izleyin ve herhangi
bir veri kurcalamasını tespit etmek için denetimler yapın.
Model doğrulama: Eğitim sırasında kullanılmayan ayrı bir doğrulama kümesi kullanarak modeli
doğrulayın. Bu, eğitim verilerini etkilemiş olabilecek veri zehirlenmesi saldırılarının algılanmasına
yardımcı olabilir.
Model toplulukları: Eğitim verilerinin farklı alt kümelerini kullanarak birden çok modeli eğitin ve
tahminlerde bulunmak için bu modellerden oluşan bir topluluk kullanın. Bu, saldırganın hedeflerine
ulaşmak için birden çok modelin güvenliğini aşması gerekeceğinden, veri zehirlenmesi saldırılarının
etkisini azaltabilir.
Anormallik algılama: Veri dağıtımındaki ani değişiklikler veya veri etiketleme gibi eğitim verilerindeki
anormal davranışları algılamak için anomali algılama tekniklerini kullanın. Bu teknikler, veri
zehirlenmesi saldırılarını erken tespit etmek için kullanılabilir.

9
ML03:2023: Model Ters Çevirme Saldırısı
vektörleri
orta seviye)
(Limitli)
Teknik: 4
(Orta düzeyde teknik
beceri gereklidir)
Tehdit Aracıları: Modele erişimi olan
ve veri girişi yapan saldırganlar
Saldırı Vektörleri: Modele bir
görüntü gönderme ve modelin
yanıtını analiz etme
Modelin çıktısı, giriş verileri
hakkında hassas bilgiler çıkarmak
için kullanılabilir.
Giriş verileriyle ilgili
gizli bilgiler tehlikeye
girebilir.
önemlidir.
Tanım:
Model ters çevirme saldırıları, bir saldırgan modelden bilgi ayıklamak için modele ters mühendislik
uyguladığında oluşur.
Senaryo 1: Yüz tanıma modelinden kişisel bilgileri çalma
Bir saldırgan, yüztanıma gerçekleştirmek için bir derin öğrenme modeli eğitir. Daha sonra bu modeli,
bir şirket veya kuruluş tarafından kullanılan farklı bir yüz tanıma modeline yönelik bir model ters
çevirme saldırısı gerçekleştirmek için kullanır. Saldırgan, bireylerin görüntülerini modele girer ve
bireylerin kişisel bilgilerini modelin adları, adresleri veya sosyal güvenlik numaraları gibi modelin
tahminlerinden kurtarır.
Saldırgan bu saldırıyı, modeli yüz tanıma işlemi gerçekleştirmesi için eğiterek ve ardından başka bir
yüz tanıma modelinin tahminlerini tersine çevirmek için bu modeli kullanarak gerçekleştirdi. Bu,
modelin uygulamasındaki bir güvenlik açığından yararlanılarak veya modele bir API aracılığıyla
erişilerek yapılabilir. Saldırgan daha sonra modelin tahminlerinden bireylerin kişisel bilgilerini
kurtarabilir.
Senaryo 2: Çevrimiçi reklamcılıkta bot algılama modelini atlama
Bir reklamcı, reklamları tıklamak ve web sitelerini ziyaret etmek gibi eylemleri gerçekleştirmek için
botları kullanarak reklam kampanyalarını otomatikleştirmek ister. Ancak, çevrimiçi reklamcılık
platformları, botların bu eylemleri gerçekleştirmesini önlemek için bot algılama modellerini kullanır.
Reklamcı, bu modelleri atlamak amacıyla bot algılaması için bir derin öğrenme modeli eğitir ve
çevrimiçi reklamcılık platformu tarafından kullanılan bot algılama modelinin tahminlerini tersine
çevirmek için kullanır. Reklamcı, botlarını modele girer ve botların insan kullanıcılar olarak

10
görünmesini sağlayarak bot algılamasını atlamasına ve otomatik reklam kampanyalarını başarıyla
yürütmesine olanak tanır.
Reklamcı bu saldırıyı kendibotalgılama modelinieğiterekve ardından çevrimiçi reklamcılık platformu
tarafından kullanılan bot algılama modelinin tahminlerini tersine çevirmek için kullanarak
gerçekleştirdi. Bu diğer modele, uygulamasındaki bir güvenlik açığı aracılığıyla veya bir API kullanarak
erişebildiler. Saldırının sonucu, reklamcı botlarını insan kullanıcılar olarak göstererek reklam
kampanyalarını başarıyla otomatikleştirmesiydi.
Nasıl Önlenir:
Erişim denetimi:Modele veya tahminlerine erişimi sınırlamak, saldırganların modeli tersine çevirmek
için gereken bilgileri elde etmesini engelleyebilir. Bu, modele veya tahminlerine erişirken kimlik
doğrulama, şifreleme veya diğer güvenlik biçimleri gerektirerek yapılabilir.
Giriş doğrulama: Modele girişlerin doğrulanması, saldırganların modeli tersine çevirmek için
kullanılabilecek kötüamaçlı veriler sağlamasını engelleyebilir.Bu, model tarafından işlenmeden önce
girişlerin biçimini, aralığını ve tutarlılığını denetleyerek yapılabilir.
Model saydamlığı: Modeli ve tahminlerini saydam hale getirmek, model ters çevirme saldırılarının
algılanmasına ve önlenmesine yardımcıolabilir. Bu,tüm giriş ve çıkışları günlüğe kaydederek,modelin
tahminleri için açıklamalar sağlayarak veya kullanıcıların modelin iç gösterimlerini incelemesine izin
vererek yapılabilir.
Düzenli izleme: Modelin anormalliklere yönelik tahminlerini izlemek, model ters çevirme saldırılarını
algılamaya ve önlemeye yardımcı olabilir. Bu, girdilerin ve çıktıların dağılımını izleyerek, modelin
tahminlerini temel doğruluk verileriyle karşılaştırarak veya modelin zaman içindeki performansını
izleyerek yapılabilir.
Modelin yeniden eğitilmesi: Modelin düzenli olarak yeniden eğitilmesi, model ters çevirme saldırıları
tarafından sızdırılan bilgilerin güncelliğini yitirmesini önlemeye yardımcı olabilir. Bu, yeni veriler
ekleyerek ve modelin tahminlerindeki yanlışlıkları düzelterek yapılabilir.

11
ML04:2023: Üyelik Çıkarım Saldırısı
vektörleri
Sömürülebilirlik: 4 (Sömürülmesi orta
seviye)
(Bu saldırının tespiti orta
derecede zordur)
Teknik: 4
(Orta düzeyde teknik
beceri gereklidir)
Verilere ve modele erişimi olan
bilgisayar korsanları veya kötü niyetli
aktörler
Kötü niyetli veya verilere müdahale
etmek için rüşvet alan içeriden kişiler
Verilere yetkisiz erişime izin veren
güvenli olmayan veri iletim kanalları
Uygun veri erişim
kontrollerinin eksikliği
Uygun veri doğrulama ve
sterilizasyon tekniklerinin
eksikliği
Uygun veri şifreleme eksikliği
Uygun veri yedekleme ve
kurtarma tekniklerinin
eksikliği
Güvenilmez veya
yanlış model
tahminleri
Gizlilik kaybı ve
hassas verilerin
gizliliği
Yasal ve düzenleyici
uyumluluk ihlalleri
İtibar hasarı
önemlidir.
Tanım:
“Üyelik müdahalesi” saldırıları, bir saldırgan modelin eğitim verilerini hassas bilgileri açığa çıkaracak
şekilde davranmasına neden olacak şekilde değiştirdiğinde oluşur.
Senaryo 1: Makine öğrenimi modelinden finansal verileri çıkarma
Kötü niyetli bir saldırgan, bireylerin hassas finansal bilgilerine erişmek ister. Bunu, bir makine
öğrenimi modelini mali kayıtlardan oluşan bir veri kümesinde eğiterek ve belirli bir bireyin kaydının
eğitim verilerine dahil edilip edilmediğini sorgulamak için kullanarak yaparlar. Saldırgan daha sonra
bu bilgileri, bireylerin mali geçmişini ve hassas bilgilerini çıkarmak için kullanabilir.
Saldırgan bu saldırıyı, bir finansal kuruluştan elde edilen mali kayıtlardan oluşan bir veri kümesinde
makine öğrenimi modeli eğiterek gerçekleştirdi. Daha sonra bu modeli, belirli bir bireyin kaydının
eğitim verilerine dahil edilip edilmediğini sorgulamak için kullandılar ve hassas finansal bilgiler
çıkarmalarına izin verdiler.
Nasıl Önlenir:
Rastgele veya karıştırılmış veriler üzerinde model eğitimi: Makine öğrenimi modellerini rastgele veya
karıştırılmış veriler üzerinde eğitmek, bir saldırganın belirli bir örneğin eğitim veri kümesine dahil
edilip edilmediğini belirlemesini zorlaştırabilir.

12
Model Gizleme: Rastgele gürültü ekleyerek veya farklı gizlilik tekniklerini kullanarak modelin
tahminlerini gizlemek, bir saldırganın modelin eğitim verilerini belirlemesini zorlaştırarak üyelik
çıkarımı saldırılarının önlenmesine yardımcı olabilir.
Düzenlileştirme: L1 veya L2 düzenlileştirme gibi düzenlileştirme teknikleri, modelin eğitim verilerine
aşırı sığmasını önlemeye yardımcı olabilir ve bu da modelin belirli bir örneğin eğitim veri kümesine
dahil edilip edilmediğini doğru bir şekilde belirleme yeteneğini azaltabilir.
Eğitim verilerini azaltma: Eğitim veri kümesinin boyutunu küçültmek veya gereksiz ya da yüksek
oranda ilişkili özellikleri kaldırmak, bir saldırganın üyelik çıkarımı saldırısından elde edebileceği
bilgilerin azaltılmasına yardımcı olabilir.
Test etme ve izleme: Modelin davranışını anormalliklere karşı düzenli olarak test etmek ve izlemek,
bir saldırganın hassas bilgilere erişmeye çalıştığını algılayarak üyelik çıkarımı saldırılarının
algılanmasına ve önlenmesine yardımcı olabilir.

13
ML05:2023: Model Çalma
vektörleri
orta seviye)
(Bu saldırının tespiti orta
derecede zordur)
Teknik: 4
(Orta düzeyde teknik beceri
gereklidir)
Aracı/Saldırı Vektörü: Bu, saldırıyı
gerçekleştiren varlığı ifade eder, bu
durumda, makine öğrenimi
modelini çalmak isteyen bir
saldırgandır.
Güvenli olmayan model
dağıtımı: Modelin güvenli
olmayan dağıtımı, saldırganın
modele erişmesini ve modeli
çalmasını kolaylaştırır.
Model hırsızlığının etkisi, hem
modeli eğitmek için kullanılan
verilerin gizliliği hem de
modeli geliştiren kuruluşun
itibarı üzerinde olabilir.
Gizlilik, İtibar
önemlidir.
Tanım:
Model çalma saldırıları, bir saldırgan modelin parametrelerine erişim sağladığında oluşur.
Senaryo: Bir rakipten makine öğrenimi modeli çalmak
Kötü niyetli bir saldırgan, değerli bir makine öğrenimi modeli geliştiren bir şirketin rakibi için çalışıyor.
Saldırgan bu modeli çalmak istiyor, böylece şirketleri rekabet avantajı elde edebilir ve kendi amaçları
için kullanmaya başlayabilir.
Saldırgan bu saldırıyı, şirketin makine öğrenimi modeline tersine mühendislik uygulayarak, ikili kodu
sökerek veya modelin eğitim verilerine ve algoritmasına erişerek gerçekleştirdi. Saldırgan modeli
tersine yapılandırdıktan sonra, modeli yeniden oluşturmak ve kendi amaçları için kullanmaya
başlamak için bu bilgileri kullanabilir. Bu, orijinal şirket için önemli finansal kayıplara ve itibarlarına
zarar verebilir.
Nasıl Önlenir:
Şifreleme: Modelin kodunu, eğitim verilerini ve diğer hassas bilgilerini şifrelemek, saldırganların
modele erişmesini ve bu modeli çalmasını engelleyebilir.
Erişim Kontrolü: İki faktörlü kimlik doğrulama gibi sıkı erişim kontrol önlemlerinin uygulanması,
yetkisiz kişilerin modele erişmesini ve çalmasını önleyebilir.
Düzenli yedeklemeler: Modelin kodunu, eğitim verilerini ve diğer hassas bilgilerini düzenli olarak
yedeklemek, bir hırsızlık durumunda kurtarılmasını sağlayabilir.
Model Gizleme: Modelin kodunu gizlemek ve tersine mühendislik yapmayı zorlaştırmak,
saldırganların modeli çalmasını engelleyebilir.

14
Filigranlama: Modelin koduna ve eğitim verilerine filigran eklemek, bir hırsızlığın kaynağını izlemeyi
ve saldırganı sorumlu tutmayı mümkün kılabilir.
Yasal koruma: Model için patentler veya ticari sırlar gibi yasal korumanın güvence altına alınması, bir
saldırganın modeli çalmasını zorlaştırabilir ve hırsızlık durumunda yasal işlem için bir temel
oluşturabilir.
İzleme ve denetim:Modelinkullanımını düzenliolarak izlemekve denetlemek,birsaldırganın modele
erişmeye veya çalmaya çalıştığını algılayarak hırsızlığın algılanmasına ve önlenmesine yardımcı
olabilir.

15
ML06:2023: Bozuk Paketler
vektörleri
Sömürülebilirlik: 5 (Bu zayıflıktan
yararlanmak için gereken çaba orta
seviyedir)
(Bu saldırının tespiti çok
zor değil)
Teknik: 4
gereklidir)
Makine öğrenimi projesi tarafından
kullanılan açık kaynak paketinin
kodunu değiştirme
Güvenilmeyen üçüncü
taraf koduna güvenme
Makine öğrenimi projesinin
tehlikeye atılması ve kuruluşa
potansiyel zarar verilmesi
önemlidir.
Tanım:
Bozuk paketler saldırıları, bir saldırgan bir sistem tarafından kullanılan bir makine öğrenimi kitaplığını
veya modelini değiştirdiğinde veya değiştirdiğinde oluşur.
Senaryo 1: Bir kuruluştaki makine öğrenimi projesine saldırı
Kötü niyetli bir saldırgan, büyük bir kuruluş tarafından geliştirilen bir makine öğrenimi projesinin
güvenliğini aşmak ister. Saldırgan, projenin birkaç açık kaynaklı pakete ve kütüphaneye dayandığını
biliyor ve projeyi tehlikeye atmanın bir yolunu bulmak istiyor.
Saldırgan, NumPy veya Scikit-learn gibi projenin dayandığı paketlerden birinin kodunu değiştirerek
saldırıyı gerçekleştirir. Saldırgan daha sonra paketin bu değiştirilmiş sürümünü PyPI gibi genel bir
depoya yükleyerek başkalarının indirmesine ve kullanmasına olanak tanır. Kurban kuruluş paketi
indirip kurduğunda, saldırganın kötü amaçlı kodu da yüklenir ve projenin güvenliğini aşmak için
kullanılabilir.
Bu tür bir saldırı, uzun süre fark edilmeden gidebileceği için özellikle tehlikeli olabilir, çünkü kurban
kullandıkları paketintehlikeye atıldığını fark etmeyebilir. Saldırganın kötü amaçlı kodu, hassas bilgileri
çalmak, sonuçları değiştirmek ve hatta makine öğrenimi modelinin fa(burada cümle yarıda kesilmiş)
yapmasına neden olmak için kullanılabilir.
Nasıl Önlenir:
Paketİmzalarını Doğrulama: Herhangi bir paketi yüklemeden önce, üzerinde oynanmadığından emin
olmak için paketlerin dijital imzalarını doğrulayın.
Güvenli Paket Depolarını Kullan: “Anaconda” gibi sıkı güvenlik önlemleri uygulayan ve paketler için
inceleme sürecine sahip güvenli paket depoları kullanın.

16
Paketleri Güncel Tutun: Herhangi bir güvenlik açığının yamalandığından emin olmak için tüm
paketleri düzenli olarak güncelleyin.
Sanal Ortamları Kullan: Paketleri ve kitaplıkları sistemin geri kalanından yalıtmak için sanal ortamlar
kullanın. Bu, kötü amaçlı paketleri algılamayı ve kaldırmayı kolaylaştırır.
Kod İncelemeleri Gerçekleştir: Kötü amaçlı kodları algılamak için bir projede kullanılan tüm paketler
ve kitaplıklar üzerinde düzenli olarak kod incelemeleri gerçekleştirin.
Paket Doğrulama Araçlarını Kullan: Yüklemeden önce paketlerin orijinalliğini ve bütünlüğünü
doğrulamak için PEP 476 ve Güvenli Paket Yükleme gibi araçları kullanın.
Geliştiricileri Eğitin: Geliştiricileri Bozuk Paket Saldırılarıyla ilişkili riskler ve yüklemeden önce
paketlerin doğrulanmasının önemi konusunda eğitin.

17
ML07:2023: Transfer Öğrenme Saldırısı
Tehdit(Threat)
aracıları/Saldırı vektörleri
Sömürülebilirlik: 4 (Kolay)
(Bu saldırının tespiti çok zor değil)
Teknik: 4
gereklidir)
Saldırı özellikle makine
öğrenimi uygulamasını
hedef alıyor ve modele ve
kuruluşa önemli zararlar
verebilir
Saldırı, makine öğrenimi
işlemleri hakkında bilgi
gerektirir, ancak nispeten
kolay bir şekilde
yürütülebilir
Güvenliği ihlal edilmiş model
tarafından üretilen sonuçlar doğru
ve beklentilerle tutarlı
görünebileceğinden,saldırınıntespit
edilmesi zor olabilir.
Saldırı, makine öğreniminde
yüksek düzeyde teknik uzmanlık
ve eğitim veri kümesinin veya
önceden eğitilmiş modellerin
bütünlüğünü tehlikeye atmaya
istekli olmayı gerektirir.
önemlidir.
Tanım:
Aktarım öğrenme saldırıları, bir saldırgan bir modeli bir görevde eğitip ardından istenmeyen bir
şekilde davranmasına neden olacak şekilde başka bir görevde ince ayar yaptığında oluşur.
Saldırgan, makine öğrenimi modelini, yüzlerin değiştirilmiş görüntülerini içeren kötü amaçlı bir veri
kümesinde eğitir. Saldırgan, bir güvenlik firması tarafından kimlik doğrulaması için kullanılan bir yüz
tanıma sistemini hedeflemek istiyor.
Saldırgan daha sonra modelin bilgisini hedef yüz tanıma sistemine aktarır. Hedef sistem, kimlik
doğrulaması için saldırganın manipüle edilmiş modelini kullanmaya başlar.
Sonuç olarak, yüz tanıma sistemi yanlış tahminlerde bulunmaya başlar ve saldırganın güvenliği
atlamasına ve hassas bilgilere erişmesine izin verir. Örneğin, saldırgan kendilerinin değiştirilmiş bir
görüntüsünü kullanabilir ve sistem bu kişileri meşru bir kullanıcı olarak tanımlayabilir.
Nasıl Önlenir: Eğitim veri kümelerinidüzenliolarak izleme ve güncelleştirme:Eğitim verikümelerinin
düzenli olarak izlenmesi ve güncelleştirilmesi, kötü amaçlı bilgilerin saldırganın modelinden hedef
modele aktarılmasını önlemeye yardımcı olabilir.

18
Güvenli ve güvenilir eğitim veri kümeleri kullanma: Güvenli ve güvenilir eğitim veri kümelerinin
kullanılması, kötü amaçlı bilgilerin saldırganın modelinden hedef modele aktarılmasını önlemeye
Model yalıtımı uygulama: Model yalıtımı uygulamak, kötü amaçlı bilgilerin bir modelden diğerine
aktarılmasını önlemeye yardımcı olabilir. Örneğin, eğitim ve dağıtım ortamlarını ayırmak,
saldırganların eğitim ortamından dağıtım ortamına bilgi aktarmasını engelleyebilir.
Diferansiyel gizliliği kullan: Diferansiyel gizliliğin kullanılması, eğitim veri kümesindeki tek tek
kayıtların gizliliğinin korunmasına yardımcı olabilir ve kötü amaçlı bilgilerin saldırganın modelinden
hedef modele aktarılmasını önleyebilir.
Düzenli güvenlik denetimleri gerçekleştirin: Düzenli güvenlik denetimleri, sistemdeki güvenlik
açıklarını tanımlayıp ele alarak aktarım öğrenimi saldırılarının belirlenmesine ve önlenmesine

19
ML08:2023: Model Eğriliği
Tehdit(Threat)
aracıları/Saldırı vektörleri
saldırgan, makine
öğrenimi projesini ve
güvenlik açıklarını net bir
şekilde anlamıştır.
Eğitim verilerinin
manipülasyonu, makine
öğrenimi süreci hakkında
bilgi gerektirir
modelin eğrilmesi test aşamasında
kolayca fark edilmeyebilir
Teknik: 4
Eğitim verilerinin manipülasyonu
teknik olarak karmaşık bir iştir
Model Çarpıtma
saldırısındaki saldırganlar,
kötü niyetli kişiler veya bir
modelin sonuçlarını
manipüle etme
konusunda kazanılmış bir
menfaati olan üçüncü
taraf olabilir.
Model Çarpıtma saldırısındaki
güvenlik zayıflığı, modelin eğitim
verilerinin altında yatan dağılımı
doğru bir şekilde yansıtamamasıdır.
Bu, veri yanlılığı, verilerin yanlış
örneklenmesi veya verilerin ya da
eğitim sürecinin bir saldırgan
tarafından manipüle edilmesi gibi
faktörler nedeniyle oluşabilir.
Model Çarpıtma saldırısının etkisi
önemli olabilir ve modelin
çıktısına bağlı olarak yanlış
kararlar alınmasına neden olabilir.
Bu, model tıbbi teşhis veya ceza
adaleti gibi kritik uygulamalar için
kullanılıyorsa, finansal kayıplara,
itibarın zarar görmesine ve hatta
bireylere zarar verilmesine neden
olabilir.
önemlidir.
Tanım:
Model çarpıtma saldırıları, bir saldırgan modelin istenmeyen bir şekilde davranmasına neden olmak
için eğitim verilerinin dağıtımını değiştirdiğinde oluşur.
Bir finans kurumu, kredi başvuru sahiplerinin kredibilitesini tahmin etmek için bir makine öğrenme
modeli kullanıyor ve modelin tahminleri kredi onay süreçlerine entegre ediliyor. Bir saldırgan,
kredinin onaylanma şansını artırmak ister, bu nedenle MLOps sistemindeki geri bildirim döngüsünü
manipüle eder. Saldırgan, sisteme yüksek riskli başvuru sahiplerinin geçmişte krediler için
onaylandığını gösteren sahte geri bildirim verileri sağlar ve bu geri bildirim, modelin eğitim verilerini
güncellemek için kullanılır. Sonuç olarak, modelin tahminleri düşük riskli başvuru sahiplerine doğru
çarpıtılır ve saldırganın kredi onaylama şansı önemli ölçüde artar.
Bu tür bir saldırı, modelindoğruluğunuve adilliğini tehlikeye atarakistenmeyen sonuçlara ve finansal
kurum ve müşterileri için potansiyel zararlara yol açabilir.

20
Nasıl Önlenir:
Güçlü erişim denetimleri uygulayın: MLOps sistemine ve geri bildirim döngülerine yalnızca yetkili
personelinerişebildiğindenve tüm etkinliklerin günlüğe kaydedildiğinden ve denetlendiğinden emin
olun.
Geri bildirim verilerinin gerçekliğini doğrulama: Sistem tarafından alınan geri bildirim verilerinin
orijinal olduğunu doğrulamak için dijital imzalar ve sağlama toplamları gibi teknikleri kullanın ve
beklenen biçimle eşleşmeyen verileri reddedin.
Veri doğrulama ve temizleme tekniklerini kullanın: Yanlış veya kötü amaçlı verilerin kullanılması
riskini en aza indirmek için eğitim verilerini güncelleştirmek üzere kullanmadan önce geri bildirim
verilerini temizleyin ve doğrulayın.
Anomali algılamayı uygulama: Geri bildirim verilerindeki bir saldırıya işaret edebilecek anormallikleri
algılamak ve uyarmak için istatistiksel ve makine öğrenimi tabanlı yöntemler gibi teknikleri kullanın.
Modelin performansını düzenli olarak izleyin: Modelin performansını sürekli izleyin ve herhangi bir
sapma veya çarpıklığı tespit etmek için tahminlerini gerçek sonuçlarla karşılaştırın.
Modeli sürekli eğitin: En son bilgileri ve eğilimleri yansıtmaya devam ettiğinden emin olmak için
güncelleştirilmiş ve doğrulanmış eğitim verilerini kullanarak modeli düzenli olarak yeniden eğitin.

21
ML09:2023: Çıktı Bütünlüğü Saldırısı
vektörleri
Tespit Edilebilirlik: 3 Teknik: 3
Modelin giriş ve çıkışlarına erişimi
olan kötü amaçlı saldırganlar veya
içeriden kişiler
Girdilere ve çıktılara erişimi olan
ve belirli bir sonuca ulaşmak için
bunları kurcalayabilen üçüncü
taraf kuruluşlar
Giriş ve çıkışların bütünlüğünü
sağlamak için uygun kimlik
doğrulama ve yetkilendirme
önlemlerinin eksikliği
Kurcalanmayı önlemek için giriş
ve çıkışların yetersiz
doğrulanması ve doğrulanması
Kurcalanmayı tespit etmek için
giriş ve çıkışların yetersiz
izlenmesi ve günlüğe
kaydedilmesi
Modelin tahminlerine ve
sonuçlarına olan güven kaybı
Modelin tahminleri önemli
kararlar almak için
kullanılıyorsa finansal kayıp
veya itibar hasarı
Model, finansal dolandırıcılık
tespiti veya siber güvenlik gibi
kritik bir uygulamada
kullanılıyorsa güvenlik riskleri
önemlidir.
Tanım:
Çıktı Bütünlüğü Saldırısı senaryosunda, saldırgan davranışını değiştirmek veya kullanıldığı sisteme
zarar vermek için makine öğrenimi modelinin çıktısını değiştirmeyi veya değiştirmeyi amaçlar.
Saldırgan, hastanede hastalıkları tespiti için kullanılan bir makine öğrenimi modelinin çıktısına erişim
kazanmıştır. Saldırgan, modelin çıktısını değiştirerek hastalar için yanlış tespitler sağlar. Sonuç olarak,
hastalara yanlış tedaviler verilir, bu da daha fazla zarara ve hatta potansiyel olarak ölüme yol açar.
Nasıl Önlenir:
Şifreleme yöntemlerini kullanma: Sonuçların gerçekliğini doğrulamak için dijital imzalar ve güvenli
karmalar gibi şifreleme yöntemleri kullanılabilir.
Güvenli iletişim kanalları: Model ile sonuçların görüntülenmesinden sorumlu arabirim arasındaki
iletişim kanalları, SSL/TLS gibi güvenli protokoller kullanılarak güvenli hale getirilmelidir.
Giriş Doğrulaması: Beklenmeyenveyamanipüle edilendeğerlerikontroletmek için sonuçlar üzerinde
giriş doğrulaması yapılmalıdır.
Kurcalamaya karşı korumalı loglar: Tüm giriş ve çıkış etkileşimlerinin kurcalamaya karşı korumalı
logların tutulması, çıktı bütünlüğü saldırılarının algılanmasına ve bunlara yanıt verilmesine yardımcı
olabilir.
Düzenli yazılım güncellemeleri: Güvenlik açıklarını ve güvenlik yamalarını düzeltmeye yönelik düzenli
yazılım güncellemeleri, çıktı bütünlüğü saldırıları riskini azaltmaya yardımcı olabilir.

22
İzleme ve denetim:Sonuçlarınve model ile arabirim arasındaki etkileşimlerindüzenli olarak izlenmesi
ve denetlenmesi, şüpheli etkinliklerin algılanmasına ve buna göre yanıt verilmesine yardımcı olabilir.

23
ML10:2023: Sinir Ağı (NN) Yeniden Programlama.
vektörleri
Tespit edilebilirlik: 3 Teknik: 3
Derin öğrenme modellerini manipüle
etmek için bilgi ve kaynaklara sahip
kötü niyetli bireyler veya kuruluşlar.
Derin öğrenme modelini geliştiren
kuruluş içindeki kötü niyetli kişiler
Modelin koduna ve
parametrelerine yetersiz
erişim denetimleri.
Uygun güvenli kodlama
uygulamalarının eksikliği
Modelin etkinliğinin
yetersizizlenmesi ve loga
kaydedilmesi
Modelin tahminleri, istenen
sonuçları elde etmek için manipüle
edilebilir.
Model içindeki gizli bilgiler
çıkarılabilir.
Modelin tahminlerine dayanan
kararlar olumsuz etkilenebilir.
Kuruluşun itibarı ve güvenilirliği
etkilenebilir.
önemlidir.
Tanım:
Sinir ağı yeniden programlama saldırıları, bir saldırgan modelin parametrelerini istenmeyen bir
şekilde davranmasına neden olacak şekilde değiştirdiğinde ortaya çıkar.
Bir bankanın, takas işlemlerini otomatikleştirmek üzere çeklerdeki el yazısı karakterleri tanımlamak
için bir makine öğrenimi modeli kullandığı bir senaryoyu düşünün. Model, el yazısıyla yazılmış
karakterlerden oluşan büyük bir veri kümesi üzerinde eğitilmiştir ve boyut, şekil, eğim ve aralık gibi
belirli parametrelere göre karakterleri doğru bir şekilde tanımlamak üzere tasarlanmıştır.
Neural Net Yeniden Programlama saldırısından yararlanmak isteyen bir saldırgan, eğitim veri
kümesindeki görüntüleri değiştirerek veya modeldeki parametreleri doğrudan değiştirerek modelin
parametrelerini değiştirebilir. Bu, modelin karakterleri farklı şekilde tanımlayacak şekilde yeniden
programlanmasına neden olabilir. Örneğin, saldırgan parametreleri değiştirerek modelin "5"
karakterini "2" karakteri olarak tanımlayarak yanlış miktarların işlenmesine neden olabilir.
Saldırgan, takas işlemine modelin değiştirilen parametreler nedeniyle geçerli olarak işleyeceği sahte
çekler ekleyerek bu güvenlik açığından yararlanabilir. Bu, bankada önemli finansal kayıplara neden
olabilir.
Nasıl Önlenir:
Düzenlileştirme: Kayıp fonksiyonuna L1 veya L2 düzenlileştirme gibi düzenlileştirme tekniklerinin
eklenmesi, aşırı uyumun önlenmesine ve sinir ağı yeniden programlama saldırılarının olasılığını
azaltmaya yardımcı olur.

24
Sağlam(Robust) Model Tasarımı: Sağlam mimarilere ve etkinleştirme işlevlerine sahip modeller
tasarlamak, başarılı yeniden programlama saldırılarının olasılığını azaltmaya yardımcı olabilir.
Şifreleme Teknikleri: Modelin parametrelerini ve ağırlıklarını güvence altına almak ve bu
parametrelere yetkisiz erişimi veya manipülasyonu önlemek için şifreleme teknikleri kullanılabilir.

OWASP Machine Learning Security Top 10, 2023 Edition (Draft release v0.2) (Türkçe Çeviri)

Recommended

Recommended

More Related Content

Similar to OWASP Machine Learning Security Top 10, 2023 Edition (Draft release v0.2) (Türkçe Çeviri)

Similar to OWASP Machine Learning Security Top 10, 2023 Edition (Draft release v0.2) (Türkçe Çeviri) (7)

OWASP Machine Learning Security Top 10, 2023 Edition (Draft release v0.2) (Türkçe Çeviri)