Yapay Zekâ Neden Kendinden Emin Bir Şekilde Yalan Söylüyor? Halüsinasyonun Anatomisi

2023 yılında New York'ta bir avukat, mahkemeye sunduğu dilekçede emsal olarak altı dava kararı gösterdi. Kararların adları vardı, tarihleri vardı, hatta alıntıları vardı. Tek sorun şuydu: hiçbiri gerçek değildi. Avukat, araştırmayı ChatGPT'ye yaptırmış ve kararların gerçek olup olmadığını sorduğunda da "evet, gerçek" cevabını almıştı. Mahkeme avukatlara 5.000 dolar para cezası verdi.

Yapay zekâ dünyasında bu olgunun bir adı var: halüsinasyon. Model, gerçek olmayan bir bilgiyi, gerçek bilgiyle aynı akıcılık ve özgüvenle sunuyor. Ve yapay zekâyı iş süreçlerine taşıyan her şirketin bu riski anlaması gerekiyor.

Kısaca:

• Halüsinasyon, bir yapay zekâ modelinin gerçek olmayan bilgiyi kendinden emin bir dille üretmesidir.
• Neden basit: dil modelleri "doğruyu" değil, "en olası devamı" üretir. Emin olmadığında tahmin etmek, çoğu zaman "bilmiyorum" demekten daha çok ödüllendirilmiştir.
• Mahkemeler, bir şirketin sohbet botunun verdiği yanlış bilgiden şirketin kendisini sorumlu tuttu.
• Tamamen yok edilemez, ama belgeye dayalı cevaplar, kaynak gösterme ve insan kontrolüyle ciddi ölçüde azaltılabilir.

Gerçek hayatta neye mal oldu?

Uydurma mahkeme kararları

Yukarıdaki olay, ABD'de Mata - Avianca davası olarak kayıtlara geçti. Hâkim, avukatların yalnızca sahte kaynak sunmakla kalmayıp sorgulandıklarında da hatayı hemen kabul etmediklerini vurguladı. Bu davadan sonra birçok ülkede mahkemeler, yapay zekâ ile hazırlanan belgeler için özel kurallar getirmeye başladı ve benzer vakalar hukuk dünyasında tekrar tekrar gündeme geldi.

Havayolu şirketinin sohbet botu

2022'de Kanadalı bir yolcu, büyükannesinin vefatı üzerine Air Canada'nın web sitesindeki sohbet botuna yas indirimi sordu. Bot, bileti tam fiyattan alıp 90 gün içinde indirim için başvurabileceğini söyledi. Oysa havayolunun gerçek politikası, indirimin sonradan uygulanmasına izin vermiyordu.

Yolcu şikâyet ettiğinde havayolu, sohbet botunun "kendi eylemlerinden sorumlu ayrı bir varlık" olduğunu savundu. Kanada'nın British Columbia eyaletindeki Sivil Uyuşmazlık Mahkemesi, 2024'teki kararında bu savunmayı kabul etmedi: şirket, web sitesindeki tüm bilgilerden, sohbet botunun verdiği bilgiler de dahil, sorumluydu. Havayolu farkı ödemeye mahkûm edildi.

Tutar küçüktü, ama emsal büyüktü: sohbet botunuzun söylediği, sizin söylediğinizdir.

Bir tanıtımdaki tek cümle

Şubat 2023'te Google, Bard adlı yapay zekâ sohbet aracını tanıtırken paylaştığı demoda, bot James Webb Uzay Teleskobu hakkında yanlış bir bilgi verdi: Güneş sistemi dışındaki bir gezegenin ilk fotoğrafını bu teleskobun çektiğini söyledi. Gökbilimciler hatayı hemen fark etti. Haberin ardından Alphabet hisselerinde sert bir düşüş yaşandı ve şirketin piyasa değerinden yaklaşık 100 milyar dolar silindi.

Halüsinasyon neden olur?

Model "doğru"yu değil, "olası"yı üretir

Büyük dil modelleri, devasa miktarda metin üzerinde bir şeyi öğrenerek eğitilir: bir metnin devamında hangi kelimenin gelmesinin en olası olduğunu tahmin etmeyi. Bu yetenek şaşırtıcı derecede güçlü. Dil bilgisini, üslubu, akıl yürütme kalıplarını ve dünya hakkında çok miktarda bilgiyi yakalıyor.

Ama modelin içinde bir "gerçekler veritabanı" yok. "Mata - Avianca davasında emsal olarak şu kararlar gösterildi" gibi bir cümlenin devamı istendiğinde model, gerçek dava kararlarının nasıl göründüğünü çok iyi bilir: isim formatı, mahkeme adı, yıl, sayfa numarası. Gerçek bir karar hatırlamıyorsa, gerçeğe benzeyen bir tane üretebilir. Çünkü eğitim sırasında öğrendiği şey, gerçeğe benzeyen metin üretmektir.

Tahmin etmek ödüllendirilmiş

OpenAI'ın 2025'te yayımladığı "Why Language Models Hallucinate" (Dil Modelleri Neden Halüsinasyon Görür) başlıklı araştırma ilginç bir tespit yapıyor: modellerin eğitimi ve değerlendirilmesi, çoğu zaman belirsizliği kabul etmek yerine tahmin etmeyi ödüllendiriyor.

Çoktan seçmeli bir sınav düşünün. Bilmediğiniz bir soruyu boş bırakırsanız kesin sıfır alırsınız; tahmin ederseniz şansınız var. Yanlış cevabın ceza getirmediği bir sınavda, akıllı strateji her zaman tahmin etmektir. Araştırmaya göre modellerin başarısını yalnızca doğruluk oranıyla ölçen değerlendirmeler, modellere de tam olarak bunu öğretiyor. Araştırmacıların önerisi: kendinden emin yanlış cevapları, "bilmiyorum" demekten daha ağır cezalandıran değerlendirme yöntemleri.

Hangi durumlarda daha sık görülür?

• Nadir bilgiler: Az bilinen kişiler, küçük şirketler, yerel olaylar. Model bu konularda eğitim verisinde az örnek görmüştür.
• Tam değerler: Tarihler, sayılar, kaynak adları, URL'ler, kanun maddeleri.
• Eğitim tarihinden sonraki olaylar: Model, bilgi kesim tarihinden sonra olanları bilemez; ama sorulduğunda cevap üretmeye çalışabilir.
• Yönlendirici sorular: "X'in Y ödülünü neden aldığını açıkla" gibi, yanlış bir varsayım içeren sorular.

Halüsinasyonu nasıl azaltırsınız?

İyi haber: güncel modeller, önceki nesillere göre çok daha az halüsinasyon görüyor ve emin olmadıklarında bunu söylemeye daha yatkın. Ama risk sıfır değil. Özellikle iş süreçlerinde şu yöntemler fark yaratır.

1. Modeli belgeye bağlayın

Modelin "hafızasından" cevap vermesi yerine, cevabı sizin verdiğiniz belgelere dayandırmasını isteyin. Bu yaklaşımın teknik adı RAG (Retrieval-Augmented Generation, getirme destekli üretim): kullanıcının sorusuyla ilgili belgeler önce şirketinizin kendi kaynaklarından bulunur, sonra modele bu belgelere dayanarak cevap vermesi söylenir.

Air Canada örneğinde, sohbet botunun cevabını şirketin gerçek iade politikası belgesine dayandırması hatayı büyük ihtimalle önlerdi.

2. "Bilmiyorum" demesine izin verin

Prompt'unuzda açıkça belirtin: "Cevap verilen belgelerde yoksa, bilmediğini söyle. Tahmin yürütme." Bu basit talimat, modelin boşlukları uydurmayla doldurma eğilimini belirgin şekilde azaltır. Daha fazla teknik için Claude prompt yazma rehberimize göz atabilirsiniz.

3. Kaynak ve alıntı isteyin

Modelden, cevabındaki her iddia için belgenin hangi bölümüne dayandığını göstermesini isteyin. Alıntı gösteremediği bir iddiayı geri çekmesini söyleyin. Kaynak gösterme zorunluluğu hem halüsinasyonu azaltır hem de kontrolü kolaylaştırır.

4. Kritik bilgileri doğrulayın

Hukuki atıflar, tıbbi bilgiler, finansal rakamlar, kanun maddeleri ve müşteriye verilen taahhütler: bunlar her zaman bir insan tarafından birincil kaynaktan kontrol edilmelidir. New York'taki avukatın hatası yapay zekâyı kullanmak değil, çıktıyı doğrulamamaktı.

5. Müşteriye dönük sistemlerde sınır çizin

Müşterilerle konuşan bir yapay zekâ asistanı kuruyorsanız:

• Fiyat, iade, garanti gibi bağlayıcı konularda cevapları onaylı belgelere bağlayın.
• Modelin kendi başına taahhüt veremeyeceği konuları tanımlayın ve bu konularda insana yönlendirmesini sağlayın.
• Konuşmaları kaydedip düzenli olarak örneklem üzerinden inceleyin.

Sıkça sorulan sorular

Halüsinasyon bir "hata" mı, yoksa modelin doğası mı?

İkisi de. Halüsinasyon, dil modellerinin çalışma biçiminin doğal bir yan ürünü; ama araştırmalar, eğitim ve değerlendirme yöntemleriyle ciddi ölçüde azaltılabileceğini gösteriyor. Nitekim her yeni model neslinde oranlar düşüyor.

Hangi yapay zekâ modeli halüsinasyon görmez?

Hiçbiri. Tüm büyük dil modelleri, belli koşullarda halüsinasyon görebilir. Modeller arasındaki fark, bunun ne sıklıkla olduğu ve modelin emin olmadığında bunu ne kadar dürüstçe ifade ettiğidir.

Model internette arama yapabiliyorsa halüsinasyon görmez mi?

Arama, özellikle güncel bilgilerde riski önemli ölçüde azaltır, ama ortadan kaldırmaz. Model, bulduğu kaynağı yanlış yorumlayabilir, güvenilmez bir kaynağa dayanabilir ya da kaynakta olmayan bir ayrıntıyı ekleyebilir. Kaynak bağlantılarını kontrol etmek yine önemli.

Şirketimde yapay zekâ kullanmak bu yüzden riskli mi?

Doğru tasarlandığında hayır. Taslak hazırlama, özetleme, fikir üretme ve belgelere dayalı soru-cevap gibi işlerde yapay zekâ büyük verim sağlar. Risk, çıktının kontrolsüz biçimde müşteriye, mahkemeye ya da resmi bir belgeye gitmesinde. Çözüm yapay zekâdan kaçınmak değil, onu doğru sınırlarla kullanmak.

Yapay zekâ, kendinden emin konuşan ama bazen yanılan çok hızlı bir asistan gibi. Onu şirketinizin kendi belgelerine bağlayan, güvenilir ve denetlenebilir yapay zekâ çözümleri kurmak isterseniz kurumsal yazılım geliştirme sayfamızdan bize ulaşabilirsiniz. Yapay zekâ ajanlarının başka bir güvenlik riski için prompt injection yazımıza da göz atabilirsiniz.

Kaynaklar