RAG nedir? Şirket belgelerinizle çalışan yapay zeka rehberi

Bir satış temsilcisi, yapay zeka asistanına "Bu ürünün garanti süresi ne kadar?" diye soruyor. Asistan hızlı ve akıcı bir cevap veriyor. Ama cevap, geçen ay güncellediğiniz garanti politikasına değil, modelin eğitim sırasında gördüğü genel bilgilere dayanıyor. Sonuç: yanlış bilgi, kızgın müşteri ve kaybolan güven.

Bu sorunun en yaygın çözümlerinden birinin adı RAG. Türkçede "bilgi getirmeli üretim" diye karşılayabileceğimiz bu yöntem, yapay zekanın cevap vermeden önce sizin belirlediğiniz belgelere bakmasını sağlar. Bu yazıda RAG'in ne olduğunu, nasıl çalıştığını, işletmenize ne kazandırabileceğini ve başlamadan önce nelere dikkat etmeniz gerektiğini teknik olmayan bir dille anlatıyoruz.

RAG nedir?

RAG kavramı, 2020 yılında Facebook Yapay Zeka Araştırma ekibi, University College London ve New York Üniversitesi'nden araştırmacıların yayımladığı bir makaleyle tanındı. Makalenin çıkış noktası basit bir tespit: Büyük dil modelleri eğitim sırasında öğrendikleri bilgiyi kendi içlerinde saklar, ama bu bilgiyi kolayca güncelleyemez, cevaplarının nereden geldiğini gösteremez ve zaman zaman "halüsinasyon" denen uydurma bilgiler üretebilir.

Araştırmacıların önerdiği çözüm, modelin kendi hafızasını dışarıdaki bir belge arşiviyle birleştirmekti. Model bir soru aldığında önce bu arşivden ilgili metin parçalarını bulur, sonra cevabını bu parçalara dayanarak yazar.

Amazon Web Services'ın tanımı da aynı fikri işletme diliyle anlatıyor: RAG, büyük bir dil modelinin cevap üretmeden önce eğitim verisinin dışındaki güvenilir bir bilgi kaynağına başvurmasını sağlar. Üstelik bunu modeli yeniden eğitmeden yapar.

Kısacası RAG, yapay zekaya "ezbere konuşma, önce dosyaya bak" demenin teknik karşılığıdır.

Nasıl çalışır? Dört adımda RAG

Amazon Web Services, süreci dört temel adımda özetliyor. Bunları bir fabrika ya da KOBİ örneğiyle düşünelim:

1. Bilgi kütüphanesini oluşturmak. Ürün katalogları, teknik şartnameler, bakım talimatları, fiyat listeleri, iade politikaları gibi belgeler toplanır. Bu belgeler, sistemin hızlıca arayabileceği bir biçime dönüştürülür ve bir tür dijital kütüphanede saklanır.

2. İlgili bilgiyi bulmak. Bir çalışan ya da müşteri soru sorduğunda sistem önce kütüphanede arama yapar ve soruyla en ilgili belge parçalarını seçer. Amazon Web Services'ın örneğinde bir çalışan "Kaç gün yıllık iznim kaldı?" diye sorduğunda sistem, izin politikasını ve o çalışanın geçmiş izin kayıtlarını getirir.

3. Soruyu zenginleştirmek. Bulunan belge parçaları, kullanıcının sorusuyla birlikte dil modeline verilir. Model artık yalnızca genel bilgisine değil, önüne konan güncel ve şirkete özel metne dayanarak cevap yazar.

4. Kütüphaneyi güncel tutmak. Fiyatlar, politikalar ve ürünler değiştikçe belgeler de güncellenir. Bu güncelleme düzenli aralıklarla ya da otomatik olarak yapılabilir.

İşletmeler için faydaları

Modeli yeniden eğitmeden şirkete özel cevaplar

Amazon Web Services'a göre genel amaçlı büyük modelleri şirkete özel bilgiyle yeniden eğitmenin hem işlem gücü hem de mali maliyeti yüksektir. RAG ise yeni bilgiyi modele vermenin daha düşük maliyetli bir yoludur. Bu, büyük bütçesi olmayan KOBİ'ler için önemli bir avantajdır.

Güncel bilgi

Model eğitimi belirli bir tarihte biter; modelin bilgisi o tarihte donar. RAG ile modelin baktığı belgeleri değiştirmek, bilgisini güncellemek için yeterlidir. 2020 tarihli makalede araştırmacılar bunu somut bir deneyle gösterdi: 2016 ile 2018 arasında değişen 82 dünya liderini sordular. Sistem, 2016 belge arşiviyle 2016 liderlerini yüzde 70 oranında doğru cevapladı. Aynı sorular 2018 arşiviyle sorulduğunda doğru cevap oranı yüzde 12'ye düştü. Yani doğru ve güncel arşiv, doğru cevabın anahtarıydı ve arşivi değiştirmek modeli yeniden eğitmeden bilgisini değiştirdi.

Daha az uydurma, daha çok somut bilgi

Aynı makaledeki insan değerlendirmesinde, değerlendiriciler RAG modelini karşılaştırdıkları temel modele göre örneklerin yüzde 42,7'sinde daha doğru buldu. Temel modelin daha doğru bulunduğu örneklerin oranı ise yüzde 7,1'de kaldı. Bu sonuç belirli bir deney düzeneğine aittir ve her işletmede aynı oranı garanti etmez. Ama yönü açıktır: Modeli doğru belgelere dayandırmak, uydurma riskini azaltır.

Kaynak gösterme ve güven

Amazon Web Services, RAG ile hazırlanan cevapların kaynak belgelere atıf içerebileceğini ve kullanıcıların bu belgeleri açıp kontrol edebileceğini vurguluyor. Bir müşteri temsilcisi için bu, "asistan böyle dedi" yerine "katalogun şu sayfasında böyle yazıyor" diyebilmek demektir.

Erişim kontrolü

Amazon Web Services'a göre hassas bilgilere erişim, yetki seviyelerine göre kısıtlanabilir. Örneğin maliyet tabloları yalnızca yöneticilerin sorularında kullanılırken, sahadaki çalışan yalnızca bakım talimatlarına erişebilir.

Fabrikalarda ve KOBİ'lerde kullanım örnekleri

RAG'in en çok işe yaradığı yerler, bilginin belgelerde dağınık durduğu ve doğru cevabın önemli olduğu alanlardır:

• Müşteri soruları: Teslim süresi, garanti, iade ve ürün özellikleriyle ilgili soruları güncel politika belgelerine dayanarak cevaplamak.
• Teknik destek ve bakım: Makine kılavuzlarında ve bakım kayıtlarında arama yaparak sahadaki teknisyene doğru adımı göstermek.
• Teklif hazırlığı: Ürün kataloğu ve fiyat listesinden ilgili bilgileri çekerek teklif taslağı oluşturmak.
• Yeni çalışan eğitimi: Prosedürleri, iş güvenliği talimatlarını ve şirket kurallarını soru cevap şeklinde öğretmek.
• Yönetim raporları: Amazon Web Services'ın verdiği örnekteki gibi "Geçen yıl makine onarımlarına ne kadar harcadık?" türünden soruları ilgili belgelere giderek yanıtlamak.

Başlamadan önce dikkat edilmesi gerekenler

RAG güçlü bir yöntem, ama sihirli bir çözüm değil. Başarısı büyük ölçüde belgelerinizin kalitesine bağlı.

1. Belgelerinizi düzenleyin. Eski fiyat listeleri, birbiriyle çelişen politikalar ve taranmış ama okunamayan dosyalar, sistemin yanlış bilgi getirmesine yol açar. 2020 makalesinin yazarları da hiçbir dış bilgi kaynağının tamamen doğru ve tarafsız olmayacağını hatırlatıyor.

2. Küçük ve net bir alanla başlayın. Bütün şirketi tek seferde kapsamak yerine, örneğin yalnızca garanti ve iade sorularıyla başlayın. Sonuçları ölçün, sonra genişletin.

3. Güncelleme sorumlusu belirleyin. Kütüphanenin güncel kalması için hangi belgenin kim tarafından, ne sıklıkla güncelleneceğini yazılı hale getirin.

4. Kritik cevaplarda insan onayını koruyun. Müşteriye giden teklif ya da teknik talimat gibi çıktılar, bir uzmanın onayından geçmeye devam etmeli.

5. Yetkileri baştan tanımlayın. Hangi belgenin hangi çalışan grubuna açık olacağını sistem kurulmadan önce belirleyin.

Sık sorulan sorular

RAG için yapay zeka modelini yeniden eğitmem gerekir mi? Hayır. Amazon Web Services'ın açıklamasına göre RAG'in temel avantajı, modeli yeniden eğitmeden şirkete özel bilgiyi kullanabilmesidir.

RAG halüsinasyonu tamamen ortadan kaldırır mı? Hayır. Riski azaltır, ama sıfırlamaz. Yanlış ya da eski belgeler yanlış cevaplara yol açabilir. Bu yüzden kaynak kontrolü ve insan onayı önemini korur.

Küçük bir işletme için uygun mu? Evet, özellikle bilgi birkaç kişinin aklında ya da dağınık dosyalarda duruyorsa. Küçük bir belge setiyle başlamak bile ekibin aynı soruları tekrar tekrar cevaplama yükünü hafifletebilir.

Sonuç

RAG, yapay zekayı genel bilgiyle konuşan bir araçtan şirketinizin kendi belgelerine dayanan bir yardımcıya dönüştürür. Modeli yeniden eğitme maliyetine girmeden güncel, kaynak gösterebilen ve yetkiye göre sınırlandırılabilen cevaplar almak mümkün hale gelir. Başarının anahtarı ise düzenli belgeler, net bir başlangıç alanı ve kritik noktalarda insan kontrolüdür.

İşletmenizde yapay zekayı kendi belgelerinize ve iş akışlarınıza bağlamak isterseniz, AtomAxis bu ilk adımı planlamanızda size yardımcı olabilir.