Kıbrıs Certified AI Security Engineer Eğitimi

Yapay zeka ilkelerinin genel olarak anlaşılması dışında herhangi bir ön koşul yoktur.

Bu eğitim aşağıdaki konuları kapsayacaktır:

• Yapay Zeka Güvenliğine Giriş
• Yapay Zeka Sistemlerinin Türleri ve Güvenlik Açıkları
• Yapay zekaya özgü saldırıları anlama ve bunlarla mücadele etme
• Etik ve Güvenilir Yapay Zeka
• Hızlı Enjeksiyon
• Model Jailbreak'ler ve Çıkarma Teknikleri
• Görsel Uyarı Enjeksiyonu
• Hizmet Reddi Saldırıları
• Güvenli Yüksek Lisans Entegrasyonu
• Eğitim Verilerinin Manipülasyonu
• İnsan-Yapay Zeka Etkileşimi
• Güvenli Yapay Zeka Altyapısı

Öğrenme Noktaları

• Yapay zeka teknolojileri ve bunların oluşturduğu benzersiz güvenlik riskleri hakkında kapsamlı bir anlayış edinin
• Yaygın AI güvenlik açıklarını tanımlamayı ve azaltmayı öğrenin
• Yüksek Lisans'ı uygulamalara güvenli bir şekilde entegre etme konusunda pratik beceriler kazanın
• Sorumlu, güvenilir ve açıklanabilir yapay zekanın ilkelerini anlayın
• Yapay zeka sistemleri için en iyi güvenlik uygulamalarını öğrenin
• Yapay zeka güvenliğinde gelişen tehdit ortamından haberdar olun
• Gerçek dünya senaryolarını simüle eden uygulamalı alıştırmalara katılın

1. Gün

Yapay zeka güvenliğine giriş

• Yapay Zeka Güvenliği Nedir?
  • Yapay Zekanın Tanımlanması
  • Güvenliği Tanımlama
  • Yapay Zeka Güvenliği kapsamı
  • Bu dersin ötesinde
• Farklı yapay zeka sistemleri türleri
  • Sinir ağları
  • Modeller
  • Entegre yapay zeka sistemleri
• İstemlerden Hack'lere
  • Yapay zeka sistemlerinin kullanım durumları
  • Tahmine dayalı yapay zeka sistemlerine saldırı
  • Üretken AI sistemlerine saldırmak
  • Yapay zeka sistemleriyle etkileşim kurma
• 'Güvenli Yapay Zeka' ne anlama geliyor?
  • Sorumlu Yapay Zeka
  • Güvenilir, güvenilir yapay zeka
  • Açıklanabilir Yapay Zeka
  • Hizalamayla ilgili bir kelime
  • Sansürlemek ya da sansürlememek
• Alıştırma: Sansürsüz bir model kullanma
  • Sansürsüz bir model kullanma

Yapay zekayı kötü amaçlar için kullanma

• Deepfake dolandırıcılığı 25 milyon dolar kazandı
  • Yapana kadar asla inanmazsın
  • Derin sahte teknolojinin arkasında
• Kitleler için ses klonlama
  • Kendinizi onların yerinde hayal edin
  • Teknolojik dağılım
• Steroidler üzerinde sosyal mühendislik
• Oyun alanının dengelenmesi
• Kitlelerden karlılık
• Gerçekliğin temellerini sarsmak
• Donald Trump tutuklandı
• Pentagon'daki patlama ABD borsasını sarstı
• İnsanlar yanan bir Eyfel Kulesi'ni nasıl büyütüyor?
• OpenAI ile görüntü filigranı
• Alıştırma: Görüntü filigranlama
  • Gerçek mi sahte mi?

Yapay Zeka Güvenliği ortamı

• Bir yapay zeka sisteminin saldırı yüzeyi
  • Bir yapay zeka sisteminin bileşenleri
  • Yapay zeka sistemleri ve model yaşam döngüsü
  • Tedarik zinciri her zamankinden daha önemli
  • API'ler aracılığıyla erişilen modeller
  • Modellere göre API erişimi
  • Yapay zeka dışı saldırılar kalıcı olacak
• OWASP İlk 10 ve Yapay Zeka
  • OWASP ve Top 10 listesi hakkında
  • OWASP ML'nin İlk 10'u
  • OWASP Yüksek Lisans İlk 10
  • OWASP'ın Ötesinde İlk 10
• Yüksek Lisans entegre uygulamasının tehdit modellemesi
  • Tehdit modellemeye ilişkin kısa bir özet
  • Örnek bir yapay zeka entegreli uygulama
  • Örnek bulgular
  • Azaltmalar
• Alıştırma: Yüksek Lisans entegre uygulamasının tehdit modellemesi
  • Bir biletleme sistemi olan TicketAI ile tanışın
  • TicketAI'nin veri akış şeması
  • Potansiyel tehditleri bulun

Hızlı Enjeksiyon

• Yapay zeka sistemlerine saldırılar - Hızlı enjeksiyon
  • Hızlı enjeksiyon
  • Darbe
  • Örnekler
  • Dolaylı istem enjeksiyonu
  • Anında enjeksiyondan kimlik avına kadar
• Gelişmiş teknikler - SudoLang: Yüksek Lisans'lar için sahte kod
  • SudoLang'la tanışın
  • SudoLang örnekleri
  • Teknolojinin arkasında
  • Bir SudoLang programı
  • Yüksek Lisans'ı entegre etmek
  • Yüksek Lisans'ı SudoLang ile entegre etme
• Alıştırma: Bir istemi SudoLang'a çevirin
  • Uzun bir istem
  • Farklı bir çözüm
• Alıştırma: Hızlı enjeksiyon - Seviye 1 ve 2'nin şifresini alın
  • Şifreyi alın!
  • Klasik enjeksiyon savunması
  • Seviye 1-2
  • 1-2. seviyeler için çözümler

2. Gün

Hızlı Enjeksiyon

• Yapay zeka sistemlerine yönelik saldırılar - Jailbreak'leri modelleyin
  • Model jailbreak nedir?
  • Jailbreak'ler nasıl çalışır?
• Jailbreaking ChatGPT
  • En ünlü ChatGPT jailbreak'i
  • 6.0 DAN istemi
  • AutoDAN
• Alıştırma: Jailbreaking - Seviye 3, 4 ve 5'in şifresini alın
  • Şifreyi alın!
  • Seviye 3-5
  • DAN'ı 3-5. seviyelere karşı kullanın
• Budama ile Saldırı Ağacı (TAP)
  • Saldırı Ağacı açıklandı
• Yapay zeka sistemlerine saldırılar - Hızlı çıkarma
  • Hızlı çıkarma
• Alıştırma: İstem Çıkarma - 6. ve 7. seviyeler için şifreyi alın
  • Şifreyi alın!
  • Seviye 6
  • Seviye 7
  • 6. ve 7. düzeylerin sınırlarını çıkarın
• Yapay zeka sistemlerini savunma - Hızlı enjeksiyon savunmaları
  • Orta düzey teknikler
  • Gelişmiş teknikler
  • Daha Fazla Güvenlik API'si
  • ReBuff örneği
  • Lama Muhafızı
  • Lakera
• Benzer bir uygulamaya karşı girişimler
  • Lakera'dan Gandalf
  • Gandalf'ın istismar türleri
• Alıştırma: Gerçek Mücadele - 8. ve 9. seviyelerin şifresini alın
  • Şifreyi alın!
  • Seviye 8
  • Seviye 9
• Diğer enjeksiyon yöntemleri
  • Saldırı kategorileri
  • Ters Psikoloji
• Alıştırma: Ters Psikoloji
  • ChatbotUI ile bir istismar yazın
• Diğer koruma yöntemleri
  • Koruma kategorileri
  • Farklı bir sınıflandırma
  • Bergeron yöntemi
• Hassas Bilgilerin Açıklanması
  • Alaka düzeyi
  • En iyi uygulamalar

Görsel Uyarı Enjeksiyonu

• Saldırı türleri
  • Yeni Teknoloji, Yeni Tehditler
  • Önemsiz örnekler
  • Düşmanca saldırılar
• Sürücüsüz arabaları kandırmak
  • Tesla nasıl kandırılır
  • Bu sadece başlangıç
• Alıştırma: OpenAI ile görüntü tanıma
  • Görünmez mesaj
  • Resimdeki talimat
• Alıştırma: Düşmanca saldırı
  • Hızlı Gradyan İmzalı Yöntem (FGSM) ile hedefsiz saldırı
  • Hedefli saldırı
• Koruma yöntemleri
  • Koruma yöntemleri

Hizmet Reddi

• Sohbet robotu örnekleri
  • Saldırı senaryoları
  • Hizmet Reddi
  • Yüksek Lisans'lara DoS saldırıları
  • LLM'lere Yönelik DoS Saldırılarının Riskleri ve Sonuçları
• Hızlı yönlendirme zorlukları
  • Saldırılar
  • Korumalar
• Alıştırma: Hizmet Reddi
  • Model Yanıtlarının Durdurulması

Model hırsızlığı

• Düşmanını tanı
  • Riskler
• Saldırı türleri
  • Yeni bir modeli eğitmek veya ince ayar yapmak
  • Veri kümesi keşfi
• Alıştırma: Sorgu tabanlı model çalma
  • OpenAI API parametreleri
  • Bir model nasıl çalınır?
• Model hırsızlığına karşı koruma
  • Basit korumalar
  • Gelişmiş korumalar

3. Gün

Yüksek Lisans entegrasyonu

• LLM güven sınırı
  • LLM de diğerleri gibi bir sistemdir
  • Başka hiçbir sisteme benzemiyor
  • Yeni entegrasyonlarda klasik problemler
  • LLM çıktısını kullanıcı girişi olarak ele alma
  • Tipik değişim formatları
  • Yaygın en iyi uygulamaların uygulanması
• Alıştırma: LLM aracılığıyla SQL Enjeksiyonu
• Alıştırma: XSS yüklerini oluşturma
• Yüksek Lisans'ın diğer sistemlerle etkileşimi
  • Tipik entegrasyon modelleri
  • İşlev çağırma tehlikeleri
  • Özel GPT'lerin yükselişi
  • Uygulamalar arasında kimlik ve yetkilendirme
• Alıştırma: Geçersiz parametrelerle çağrı yapma
• Alıştırma: Hızlı enjeksiyon yoluyla ayrıcalık artışı
• Güvenlik ve güvenli kodlama ilkeleri
• Ayrıcalıkların artırılması
  • Çok yetenekli bir model için durum
  • Aşırı ayrıcalıklardan yararlanma
  • Ayrıcalıkların ayrılması
  • Bir model ikiye bölünemez
  • Model ayrıcalıklarınızı tasarlama
• Bir müşteri destek botu çılgına dönüyor
• Alıştırma: Kum havuzundan çıkmak
• Uygulamadaki en iyi uygulamalar
  • Giriş doğrulama
  • Çıkış kodlaması
  • Çerçeveleri kullanma

Eğitim verileri manipülasyonu

Önemli konularda ne eğittiğiniz

• Modeller hangi veriler üzerinde eğitiliyor?
  • Model güvenceleri
  • Model ve veri kümesi kartları
  • Alıştırma: Model kartlarının doğrulanması
• Kötü niyetli bir model
• Kötü amaçlı bir veri kümesi
• Veri kümeleri ve güvenilirlikleri
  • Saldırganın hedefleri ve niyetleri
  • Çabaya karşı kazanç
  • Veri kümelerini zehirleme teknikleri

Alıştırma: Kötü amaçlı bir veri kümesi oluşturalım

• Veri kümelerini doğrulama
  • Hedeflerin netleşmesi
  • Veri kümesi kartına bir bakış
  • Veri kümesini analiz etme
• Alıştırma: Bir veri kümesini analiz etme
• Güvenli bir tedarik zinciri
  • Model bütünlüğünü kanıtlamak zordur
  • Kriptografik çözümler ortaya çıkıyor
  • Donanım destekli doğrulama

İnsan-yapay zeka etkileşimi

• LLM çıktılarına çok fazla güvenme
  • Ne yanlış gidebilir?
  • Halüsinasyonlarla mücadele
  • Doğrulanabilir olanı doğrulamak
  • Neyin mümkün olduğuna referans verme
  • Korumalı alanların kullanımı
  • Güvenli API'ler oluşturma
  • Açık iletişim önemlidir
• Alıştırma: Model çıktısının doğrulanması

Güvenli yapay zeka altyapısı

• Güvenli bir yapay zeka altyapısının gereksinimleri
  • İzleme ve gözlemlenebilirlik
  • İzlenebilirlik
  • Gizlilik
  • Bütünlük
  • Kullanılabilirlik
  • Mahremiyet
• Gizlilik ve Samsung veri sızıntısı
• LangSmith
• Alıştırma: LangSmith ile Deneyler Yapmak
• KörLlama