SİBERSALDİRİ.COM · KONU ODAKLI DERS
Bu derste kazanacaklarınız
- Veri kaynağı ile Model işlemi arasındaki ilişkiyi açıklamak.
- “RAG yanıtı neden otomatik doğru değildir?” sorusuna gerekçeli yanıt vermek.
- Örneği değiştirip beklenen ve gözlenen davranışı karşılaştırmak.
Çalışma mantığı ve güven sınırı
Prompt injection, dış içerikteki talimatın güvenilir uygulama davranışına karışmasıdır. Araç çağrılarını izin listesiyle sınırlandırın; kritik kararı modelin serbest metnine bırakmayın. RAG kaynağının bulunması doğruluğunu garanti etmez. Hassas veri minimizasyonu, kaynak kimliği ve insanın anlamlı incelemesi yüksek etkili akışlarda önemlidir. Ölçüm yalnızca yanıt kalitesi değil yanlış eylem oranını da içermelidir.
Açıklamalı örnek
Aşağıdaki parça kavramı görünür kılar. Komut veya kod içeren örnekleri üretim sisteminde değil, size ait ayrı deneme ortamında değerlendirin. Mimari şema ve politika örnekleri çalıştırılabilir program değildir.
Tehdit tablosu:
Veri → güvenilmeyen içerik
Model → hatalı veya yönlendirilmiş öneri
Araç → aşırı yetki
Çıktı → doğrulanmamış kullanımBeklenen sonuç ve yorumu
Katman tablosu tek bir filtreyle bütün riskin kapanmadığını gösterir.
Karşılaştırmalı durumlar
| Durum | Beklenen yaklaşım | Neden? |
|---|---|---|
| RAG kaynak bulundu | Güven ve güncelliği denetle | Bulunmak doğruluk değildir |
| Araç geniş yetkili | İzin listesini daralt | Model serbest eylem seçmemeli |
| Kritik karar | Anlamlı inceleme | Etki ve hata maliyeti yüksektir |
Uygulama görevi
Bir doküman özetleyicisinin dosya silme aracına neden ihtiyaç duymadığını açıklayın.
- İşlemden önce beklenen sonucu ve kabul koşulunu yazın.
- Tek bir değişkeni değiştirin; gözlemi ve kullandığınız ortamı kaydedin.
- Sonucu yukarıdaki karşılaştırma tablosuyla değerlendirin. Uymayan durumda hangi varsayımın yanlış olabileceğini açıklayın.
Sık yapılan hata ve düzeltme yönü
Modelden gelen gerekçeyi izin kontrolünün yerine koymayın.
Kendinizi sınayın
RAG yanıtı neden otomatik doğru değildir?
Açıklamalı yanıt: Kaynak güncel, güvenilir veya soruyla ilgili olmayabilir; sentez de hata içerebilir.
İlgili derslerle ilerleyin
- Yapay zekâ destekli güvenlik araştırması: Kanıt ve araç sınırı
- Sahte görsel incelemesi: Tek skordan çok kanıt
Teknik başvuru
Bu dersin anlatımı ve örnekleri akademi için yeniden hazırlanmıştır. Aşağıdaki bağlantı, kullanılan teknoloji veya güvenlik yaklaşımının ayrıntılarını doğrulamak için teknik başvurudur.
