Retrieval-Augmented Fine-Tuning (RAFT): RAG ve SLM Eğitimini Şirket İçi Ortamda Birleştirmek

RAG ve İnce Ayar Arasındaki Boşluk

Retrieval-Augmented Generation (RAG) ve ince ayar, dil modellerini kurumsal bilgi birikimi ile uyumlu hale getirmek için en yaygın kullanılan iki strateji olarak öne çıkmaktadır. RAG, çıkarım zamanında ilgili belgeleri çekerek modellerin güncel kalmasında üstünlük sağlarken, ince ayar alan bilgisini doğrudan model ağırlıklarına yerleştirerek daha hızlı ve tutarlı yanıtlar üretir. Ancak her iki yaklaşım da üretim ortamındaki şirket içi dağıtımlarda belirgin sınırlamalar taşır.

RAG sistemleri erişim kalitesi konusunda zorlanabilir — erişim mekanizması ilgisiz veya kısmen ilgili belgeler getirdiğinde, üretici model mantıklı görünen ancak hatalı yanıtlar üretir. İnce ayarlı modeller ise eğitim dağılımının dışındaki konularda güvenle halüsinasyon yapabilir ve altta yatan bilgi tabanı değiştiğinde pahalı yeniden eğitim döngüleri gerektirir. Retrieval-Augmented Fine-Tuning (RAFT), modeli getirilen belgeler üzerinde akıl yürütmeyi öğreterek her iki eksikliği de giderir — modele erişim bağlamına ne zaman güveneceğini ve ne zaman kendi parametrelerine dayanacağını öğretir.

RAFT Nasıl Çalışır: Modellere Bağlam Üzerinde Akıl Yürütmeyi Öğretmek

RAFT'ın temel kavrayışı basittir: modeli temiz soru-cevap çiftleri üzerinde ince ayar yapmak yerine, bağlamın hem ilgili ("oracle") hem de kasıtlı olarak ilgisiz ("dikkat dağıtıcı") belgeler içerdiği soru-bağlam-cevap üçlüleri üzerinde eğitirsiniz. Eğitim sırasında model, hangi getirilen pasajların gerçekten yararlı olduğunu belirlemeyi ve gürültüyü görmezden gelerek doğru cevabı çıkarmayı öğrenir.

Şirket içi ortamda tipik bir RAFT eğitim hattı şu yapıyı takip eder:

1. Veri seti oluşturma: Her eğitim örneği için soruyu, cevabı içeren bir veya daha fazla oracle belge ve aynı külliyattan örneklenen birkaç dikkat dağıtıcı belge ile eşleştirin. Oracle-dikkat dağıtıcı oranı gerçek dünyadaki erişim gürültüsünü yansıtmalıdır — 1:4 oranı makul bir başlangıç noktasıdır.

2. Düşünce zinciri açıklaması: Her eğitim örneğini, modelin ilgili pasajı nasıl belirleyeceğini ve cevabı nasıl çıkaracağını gösteren bir akıl yürütme izi ile zenginleştirin. Bu adım, modelin halüsinasyon yapmak yerine kaynaklarını alıntılamasını öğretmek için kritik öneme sahiptir.

3. Karma eğitim stratejisi: Örneklerin bir kısmını (tipik olarak %10-20) hiçbir oracle belgenin bulunmadığı şekilde dahil ederek modeli, getirilen bağlamın yetersiz olduğu durumlarda parametrik bilgisine geri dönmeyi tanımaya zorlayın.

Şirket İçi Altyapı Gereksinimleri

RAFT'ı şirket içinde çalıştırmak, tam ön eğitime kıyasla mütevazı donanımlarla mümkündür çünkü mevcut bir küçük dil modelini ince ayar yapıyorsunuz. 2-4 GPU'ya (NVIDIA A100 veya H100) sahip tek bir düğüm, 1B-8B parametre aralığındaki modeller için RAFT eğitimini yönetebilir. Birincil altyapı değerlendirmeleri veri hattı verimi ve deney takibidir.

Veri hattınızın üç eşzamanlı akışı yönetmesi gerekir: temel eğitim külliyatı, bağlam pencereleri oluşturmak için erişim dizini ve düşünce zinciri açıklamaları. Kuruluşunuz RAG için zaten bir şirket içi vektör veritabanı çalıştırıyorsa (Milvus, Qdrant veya Weaviate gibi), bu altyapıyı veri seti oluşturma sırasında dikkat dağıtıcı belge örneklemesi için yeniden kullanabilirsiniz.

Deney takibi RAFT ile özellikle önemlidir çünkü birbirine bağlı birden fazla değişkeni ayarlıyorsunuz: dikkat dağıtıcı oranı, düşünce zinciri formatı, oracle belge seçim stratejisi ve temel modelin öğrenme oranı. MLflow veya Weights & Biases (kendi barındırma) gibi araçlar, çalıştırmaları sistematik olarak karşılaştırmanıza ve eğitim yapılandırmaları üzerinde iterasyon yaparken gerilemeyi önlemenize yardımcı olur.

Pratik Uygulama Kalıpları

Gözlemlediğimiz en başarılı RAFT dağıtımları, tek seferlik bir eğitim yerine iteratif iyileştirme döngüsü takip eder. Bir temel ince ayarlı model ve bir temel RAG sistemi ile başlayın, ardından RAG sisteminin başarısız olduğu durumları hedefli RAFT eğitim örnekleri oluşturmak için kullanın.

Kalıp 1: Hata güdümlü veri seti oluşturma. Mevcut RAG sisteminizin yanlış veya düşük güvenilirlikli bir yanıt ürettiği her sorguyu kaydedin. Bu sorguları, gerçekte getirilen belgeler (muhtemelen modeli karıştıran gürültü içerenler) ve doğru cevap ile eşleştirin. Bu, sisteminizin en zayıf noktalarını doğrudan ele alan eğitim örnekleri oluşturur.

Kalıp 2: Alan bazlı katmanlı dikkat dağıtıcı örnekleme. Dikkat dağıtıcıları külliyattan eşit şekilde örneklemek yerine, oracle belge ile aynı alan veya belge kategorisinden örnekleyin. Bu, daha zorlu eğitim örnekleri üretir ve konusal olarak benzer ancak olgusal olarak farklı pasajları ayırt etmede daha iyi bir model ortaya çıkarır.

Kalıp 3: Kademeli bağlam penceresi genişletme. Kısa bağlam pencereleri (2-3 belge) ile eğitime başlayın ve modelin akıl yürütmesi geliştikçe kademeli olarak 5-8 belgeye çıkarın. Bu müfredat tarzı yaklaşım, büyük bağlam pencereleriyle hemen başlamaktan daha kararlı eğitim ve daha iyi nihai doğruluk sağlar.

RAFT Etkinliğini Ölçmek

Standart dil modeli değerlendirme metrikleri, RAFT ile eğitilmiş modelleri değerlendirmek için yetersizdir. Hem yanıt doğruluğunu hem de erişim akıl yürütme kalitesini yakalayan metriklere ihtiyacınız vardır.

Yanıt doğruluğu: Oracle ve dikkat dağıtıcı belgeler içeren bir ayrılmış test seti üzerinde gerçek cevaplara karşı tam eşleşme ve anlamsal benzerliği ölçün. İyileştirmeyi nicelleştirmek için temel RAG sisteminiz ve temel ince ayarlı modelinizle karşılaştırın.

Atıf doğruluğu: Modelin yanıtını destekleyen getirilen belge(ler)i doğru şekilde tanımlayıp tanımlamadığını doğrulayın. RAFT eğitiminiz alıntılı düşünce zinciri açıklamaları içeriyorsa, modelin dikkat dağıtıcı yerine oracle belgeye atıfta bulunup bulunmadığını otomatik olarak kontrol edebilirsiniz.

Gürültü altında dayanıklılık: Test setindeki dikkat dağıtıcı-oracle oranını artırdıkça model performansını değerlendirin. İyi eğitilmiş bir RAFT modeli, gürültü arttıkça belirli bir eşikte aniden düşmek yerine kademeli olarak kötüleşmelidir.

RAFT'ı Ne Zaman Bağımsız Yaklaşımlar Yerine Tercih Etmeli

RAFT, RAG veya ince ayar için evrensel bir alternatif değildir. Kullanım senaryonuz belirli özellikler gösterdiğinde en değerlidir: kararlı ancak karmaşık bir bilgi tabanı, yüksek doğruluk gereksinimleri ve sık erişim gürültüsü. Belgeleriniz günlük olarak değişiyorsa ve doğruluk gereksinimleri orta düzeydeyse, iyi ayarlanmış bir RAG hattı yeterli olabilir. Alanınız dar ve durağansa, saf ince ayar sürdürmesi daha kolay olabilir.

RAFT'ın şirket içi ortamda en uygun olduğu durum, bilgi tabanının haftalık veya aylık aralıklarla güncellendiği, yanlış cevapların gerçek iş veya uyumluluk maliyetleri taşıdığı ve belge külliyatının standart erişim yaklaşımlarını zorlayacak kadar konusal örtüşme içerdiği kurumsal ortamlardır. Bu senaryolarda RAFT'ın ek eğitim karmaşıklığı, ölçülebilir şekilde daha yüksek yanıt doğruluğu ve azaltılmış halüsinasyon oranları ile kendini amorti eder.

Öne çıkan görsel: Albert Stoynov tarafından Unsplash'ta paylaşılmıştır.