RAG (retrieval-augmented generation), bir dil modelinin yanıtını kuruluşun kendi belgelerinden getirilen parçalara dayandırdığı yaklaşımdır. Bu yazı, bir RAG projesini yöneten kişinin hangi kararları erkenden yazıya dökmesi gerektiğini anlatır; ölçülmüş bir sonuç iddiası değil, çalışma yöntemimdir.
RAG projesi neden yönetim sorunudur?
RAG projelerinde model çoğu zaman hazır bir hizmettir; asıl iş, hangi belgelerin kullanılacağı, kimin neyi görebileceği ve yanıtın doğruluğunun nasıl ölçüleceği gibi kararlardadır. Bu kararlar yazılı olmazsa proje “demo güzel, canlıda güvenilmez” noktasına gelir. Aşağıdaki adımlar, yapay zekâ projelerinde kullandığım sırayla gider.
1. Kapsam: hangi soruya cevap verecek?
İlk adım, sistemin hangi kullanıcı sorularına cevap vereceğini ve neyi cevaplamayacağını yazmaktır. “Şirketin tüm belgelerini sorgula” kapsam değil, dilektir. Örnek kullanıcı soruları toplanır; bunlar hem kapsamı hem de sonraki değerlendirmeyi belirler.
2. Kaynak belgeler ve veri sahipliği
Hangi belgeler dizine girer? Güncel mi, çelişen sürümleri var mı, kişisel veri içeriyor mu? Her belge grubunun bir sahibi olmalı; belge değiştiğinde dizinin nasıl yenileneceği baştan tanımlanır. Yanıtın dayanağı gösterilebilmeli: kullanıcı hangi belgenin hangi bölümünden cevap üretildiğini görebilmeli.
3. Yetkilendirme
RAG, erişimi olmayan kişiye gizli belge içeriğini sızdırabilir. Bu nedenle erişim kuralı sorgu aşamasında uygulanır ve ilk planda yazılır: kim hangi belge grubuna sorabilir? Bu madde sonradan eklenecek bir özellik değil, mimari kararıdır.
4. Değerlendirme seti
Gerçek kullanıcı sorularından ve beklenen kaynak belgelerden oluşan küçük bir değerlendirme seti hazırlanır. Her sürüm, bu sete göre karşılaştırılır; “iyi görünüyor” ile yetinilmez. Yanıtın doğru belgeyi bulup bulmadığı ile bulunan belgeden doğru sonuç çıkarıp çıkarmadığı ayrı ayrı bakılır.
5. Pilot, maliyet ve gecikme
Pilot kısıtlı bir kullanıcı grubuyla yapılır. Bu aşamada yanıt süresi ve kullanım maliyeti ölçülür; genişletme kararı doğruluk, süre ve maliyet birlikte değerlendirilerek yazılı alınır.
6. İzleme ve değişiklik yönetimi
Canlıdayken kullanıcı geri bildirimi, yanıtsız kalan sorular ve belge değişiklikleri izlenir. Model, istem ya da belge kümesi değiştiğinde değerlendirme seti yeniden çalıştırılır. Bu süreç ISO/IEC 42001 kontrol listesindeki yaşam döngüsü ve izleme sorularıyla örtüşür.
Sık sorulan sorular
RAG ile ince ayar (fine-tuning) arasındaki fark nedir?
RAG, yanıtı sorgu anında getirilen belge parçalarına dayandırır; belgeler değişince dizin yenilenir. İnce ayar ise modelin kendisini örneklerle eğitir. İkisi birlikte de kullanılabilir; seçim veri güncelliği, izlenebilirlik ve maliyete göre yapılır.
RAG projesinde en sık yapılan yönetim hatası nedir?
Değerlendirme setini ve yetkilendirmeyi sona bırakmak. İkisi de mimariyi etkilediği için ilk planda yazılmalıdır.
RAG projesi ne kadar sürer?
Süre belge sayısına, yetkilendirme karmaşıklığına ve entegrasyonlara bağlıdır; kapsam yazıldıktan sonra pilotun süresi planlanır. Ölçülmemiş bir süre vaat etmem.