Yapay zeka halüsinasyonu nedir? İşletmeler için pratik rehber

Bir müşteri temsilcisi, sohbet asistanına iade koşullarını soruyor. Asistan akıcı, kibar ve kendinden emin bir cevap veriyor. Tek sorun, cevabın şirketin gerçek politikasıyla uyuşmaması. Müşteri bu cevaba güvenip karar veriyor, sonra şirketle karşı karşıya geliyor.

Bu durumun adı yapay zeka halüsinasyonu. Üretken yapay zeka araçları her gün daha fazla işletmede metin yazıyor, belge özetliyor ve soruları yanıtlıyor. Bu yazıda halüsinasyonun ne olduğunu, neden ortaya çıktığını, işletmeye nasıl mal olabileceğini ve riski azaltmak için atabileceğiniz pratik adımları teknik olmayan bir dille anlatıyoruz.

Yapay zeka halüsinasyonu nedir?

ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), Temmuz 2024'te yayımladığı üretken yapay zeka risk profilinde bu olguyu "konfabulasyon" olarak tanımlıyor: Sistemin hatalı ya da yanlış içeriği kendinden emin bir şekilde üretmesi ve sunması. Gündelik dilde buna "halüsinasyon" deniyor.

NIST'in tanımı yalnızca uydurma bilgiyi kapsamıyor. Verilen talimattan ya da belgeden sapan cevaplar ve aynı konuşmada daha önce söylenenle çelişen ifadeler de bu başlığa giriyor. Yani model size var olmayan bir yönetmelik maddesi söyleyebilir, yüklediğiniz sözleşmede olmayan bir şartı "var" diye özetleyebilir ya da iki paragraf önce verdiği rakamı sonradan değiştirebilir.

Neden olur?

Halüsinasyon bir arıza değil, bu modellerin çalışma biçiminin doğal bir sonucu. NIST'in açıklamasına göre büyük dil modelleri, eğitim verilerindeki istatistiksel dağılıma yaklaşan çıktılar üretir; kabaca bir cümlede sıradaki kelimeyi tahmin eder. Bu tahmin çoğu zaman doğru ve tutarlı sonuç verir, ama bazen gerçeğe uymayan ya da kendi içinde çelişen bir sonuç da verebilir.

Model "bilmiyorum" demek yerine, kulağa en makul gelen cevabı kurmaya eğilimlidir. NIST, riskin özellikle uzun ve açık uçlu cevaplarda ve derin uzmanlık isteyen alanlarda arttığını belirtiyor. Bir fabrikada bunun karşılığı; teknik şartnameler, mevzuat, garanti koşulları ve fiyat listeleri gibi hatanın pahalıya patladığı konulardır.

Bir başka tuzak da ikna edici gerekçeler. NIST'e göre modeller yanlış bir cevabı destekleyen uydurma kaynaklar ya da mantık adımları da üretebilir. Kaynak gösterilmesi, cevabın doğru olduğu anlamına gelmez.

İşletmeye maliyeti: Air Canada örneği

Konunun hukuki boyutunu gösteren somut bir örnek Kanada'dan geldi. British Columbia Medeni Uyuşmazlık Mahkemesi'nin 14 Şubat 2024 tarihli Moffatt - Air Canada kararında, havayolunun internet sitesindeki sohbet asistanı bir müşteriye yas indirimi için bilet alındıktan sonra da başvurabileceğini söylemişti. Oysa şirketin kendi sayfasındaki politika, yolculuk tamamlandıktan sonra yapılan başvuruları kabul etmiyordu.

Şirket, sohbet asistanının verdiği bilgiden sorumlu tutulamayacağını savundu. Mahkeme bu savunmayı kabul etmedi; sohbet asistanının şirketin internet sitesinin bir parçası olduğunu ve sitedeki tüm bilgilerden şirketin sorumlu olduğunu belirtti. Havayolu, tazminat, faiz ve harçlarla birlikte toplam 812,02 Kanada doları ödemeye mahkum edildi.

Tutar küçük, ama ders büyük: Müşteriye dönük bir yapay zeka aracının söylediği, şirketin söylediği sayılabilir. Kararın asıl maliyeti de para değil, itibar ve güven kaybıdır.

Fabrikalarda ve KOBİ'lerde riskli alanlar

Halüsinasyon her kullanımda aynı derecede tehlikeli değildir. Bir pazarlama metninin ilk taslağındaki küçük bir hata kolayca düzeltilir. Asıl dikkat edilmesi gereken alanlar şunlardır:

• Müşteriye verilen cevaplar: Fiyat, teslim süresi, garanti ve iade koşulları.
• Teknik bilgiler: Malzeme özellikleri, tolerans değerleri, bakım talimatları ve iş güvenliği adımları.
• Mevzuat ve sözleşmeler: Yönetmelik maddeleri, ihale şartnameleri ve tedarikçi sözleşmelerinin özetleri.
• Sayısal raporlar: Üretim, stok ya da maliyet verilerinin yorumlanması.
• Otomatik işlemler: Yapay zekanın çıktısının insan kontrolü olmadan doğrudan bir sisteme kayıt olarak girdiği akışlar.

NIST bir risk daha hatırlatıyor: otomasyon yanlılığı. İnsanlar zamanla otomatik sistemlere gereğinden fazla güvenmeye başlar ve çıktıları sorgulamayı bırakır. Bu da halüsinasyonun fark edilmeden işe karışmasını kolaylaştırır.

Riski azaltmanın pratik yolları

Halüsinasyonu tamamen sıfırlamak bugün mümkün değil, ama etkisini ciddi ölçüde sınırlamak mümkün. NIST'in önerdiği adımlardan işletmeler için en uygulanabilir olanlar şöyle özetlenebilir:

1. Kullanım alanını ve risk seviyesini belirleyin. Yapay zekanın hangi işlerde kullanılacağını yazılı hale getirin. Taslak üretmek düşük riskli, müşteriye otomatik cevap vermek yüksek riskli bir kullanımdır. Kontrol seviyesini buna göre ayarlayın.

2. Modeli kendi belgelerinize dayandırın. Modelin genel bilgisiyle değil, şirketinizin güncel ürün kataloğu, fiyat listesi ve politikalarıyla cevap vermesini sağlayan yöntemler kullanın. Bu yöntemlerin en yaygını, cevap üretmeden önce ilgili belgeyi bulup modele vermektir. NIST de bu tür dayanak verilerin doğrulanmasını öneriyor.

3. Kaynak ve atıf kontrolünü zorunlu tutun. NIST, sistem çıktılarındaki kaynakların ve atıfların hem devreye almadan önce hem de kullanım sırasında gözden geçirilmesini öneriyor. Ekibinize basit bir kural verin: Kaynağı açılıp kontrol edilmeyen rakam kullanılmaz.

4. Kritik çıktılarda insan onayını koruyun. Müşteriye giden teklif, teknik talimat ya da sözleşme özeti gibi çıktılar bir uzmanın onayından geçsin. Yapay zeka hız kazandırır, son kararı insan verir.

5. Gerçek verilerle test edin. Aracı devreye almadan önce, cevabını bildiğiniz sorularla deneyin. NIST, çıktıların bilinen doğru verilerle karşılaştırılmasını ve dar, rastgele denemelerden genel sonuç çıkarılmamasını tavsiye ediyor.

6. Hata bildirme yolu açın. Çalışanların ve müşterilerin yanlış bir cevabı kolayca bildirebileceği bir kanal kurun. Bildirilen hataları kayıt altına alın ve düzenli olarak inceleyin.

7. Sınırları açıkça yazın. Asistanın cevap vermemesi gereken konuları belirleyin ve emin olmadığında "bu konuda yetkili birimimize yönlendiriyorum" demesini sağlayın.

Sık sorulan sorular

Daha yeni ya da daha pahalı bir model halüsinasyonu bitirir mi? Hayır. NIST, halüsinasyonu bu modellerin tasarımının doğal bir sonucu olarak tanımlıyor. Model seçimi önemlidir, ama süreç tasarımı ve kontrol adımlarının yerini tutmaz.

Yapay zekayı hiç kullanmamak daha mı güvenli? Her zaman değil. Doğru alanda, doğru kontrollerle kullanıldığında yapay zeka ciddi zaman kazandırır. Önemli olan, riski yüksek işlerde insan kontrolünü korumak ve aracı kendi verilerinize dayandırmaktır.

Halüsinasyonu nasıl fark ederim? Kesin rakamlara, isimlere, tarihlere ve kaynak gösterimlerine şüpheyle yaklaşın. Kaynağı açıp kontrol edin. Aynı soruyu farklı biçimde sorduğunuzda farklı cevap alıyorsanız bu bir uyarı işaretidir.

Sonuç

Yapay zeka halüsinasyonu, üretken yapay zekanın kaçınılmaz bir özelliği ve işletmeler için gerçek bir risk. Air Canada kararı, müşteriye dönük bir aracın yanlış cevabının şirketin sorumluluğunda olabileceğini gösterdi. NIST'in çerçevesi ise bu riskin kullanım alanını belirleyerek, modeli doğru verilere dayandırarak, kaynakları kontrol ederek ve kritik kararlarda insanı süreçte tutarak yönetilebileceğini ortaya koyuyor.

İşletmenizde yapay zekayı güvenli bir şekilde kullanmak, kendi belgelerinize dayanan ve kontrol adımları net bir akış kurmak isterseniz, AtomAxis bu ilk adımda size yardımcı olabilir.