Şirket İçi Küçük Dil Modelleri için Transfer Öğrenme Stratejileri

Transfer Öğrenme Şirket İçi Yapay Zekanın Ekonomisini Neden Değiştiriyor

Sıfırdan bir dil modeli eğitmek, terabaytlarla ölçülen veri setleri ve binlerle ölçülen GPU saatleri gerektirir. Şirket içi altyapı kullanan çoğu kuruluş için bu basitçe uygulanabilir değildir. Transfer öğrenme bu sorunu tamamen atlar: Phi-3, Mistral 7B, Llama 3 8B veya benzeri önceden eğitilmiş bir küçük dil modeliyle başlar ve verilerin ve hesaplama gücünün küçük bir kısmını kullanarak modeli alanınıza uyarlarsınız.

Temel kavrayış şudur: genel dil anlayışı alanlar arasında iyi transfer olur. Sözdizimi, dilbilgisi ve yaygın akıl yürütme kalıplarını anlayan bir modelin yalnızca sizin özel terminolojinize, belge formatlarınıza ve görev yapılarınıza hedefli bir maruziyete ihtiyacı vardır. Şirket içi ortamlar bunun için oldukça uygundur çünkü transfer öğrenmeyi değerli kılan hassas alan verileri genellikle ağınızı terk edemeyecek verilerdir.

Ancak sabit bir GPU havuzu, sınırlı depolama bant genişliği ve buluta taşma imkanı olmadan çalışırken tüm transfer öğrenme yaklaşımları eşit değildir. Doğru stratejiyi seçmek, üretimde çalışan bir model ile deneysel aşamada takılıp kalan bir proje arasındaki farktır.

Tam İnce Ayar ve Parametre Verimli Yöntemler

Tam ince ayar, modeldeki her parametreyi günceller. 7 milyar parametreli bir SLM için bu, 80-120 GB GPU belleği gerektirebilecek optimize edici durumlarını, gradyanları ve model kopyalarını saklamak anlamına gelir. Bir A100 GPU kümesine sahipseniz bu yapılabilir. Şirket içi donanımınız bir çift tüketici sınıfı GPU veya eski veri merkezi kartlarıysa, tam ince ayar pratik olmaktan çıkar.

Parametre verimli ince ayar (PEFT) yöntemleri, temel modeli donmuş tutarken yalnızca küçük bir parametre alt kümesini güncelleyerek bu sorunu çözer. En yaygın kullanılan yaklaşım, modelin dikkat katmanlarına eğitilebilir düşük rütbeli matrisler enjekte eden LoRA'dır (Low-Rank Adaptation). Bir 7B model için LoRA adaptörü genellikle yalnızca 10-50 milyon eğitilebilir parametre ekler ve bellek gereksinimlerini tek bir 24 GB GPU'nun eğitimi kaldırabileceği seviyeye düşürür.

QLoRA, eğitim sırasında temel modeli 4 bit hassasiyetine kuantize ederek bellek kullanımını kabaca yarıya indirir. Eski donanımda — T4, RTX 3090 veya A10 gibi — çıkarım yapan şirket içi ekipler, QLoRA'yı varsayılan başlangıç noktası olarak değerlendirmelidir. Sınıflandırma, veri çıkarma ve özetleme gibi göreve özgü uygulamalar için kalite ödünleşmesi genellikle ihmal edilebilir düzeydedir.

Değerlendirilmesi gereken diğer PEFT yöntemleri arasında, girdiye öğrenilebilir vektörler ekleyen prefix tuning ve transformer blokları arasına küçük eğitilebilir modüller yerleştiren adaptör katmanları bulunur. Her birinin bellek, eğitim hızı ve görev performansında biraz farklı ödünleşmeleri vardır, ancak LoRA varyantları şirket içi çalışma için pratik standart olarak öne çıkmıştır.

Transfer Öğrenme için Alan Verilerinin Hazırlanması

Alan uyarlamanızın kalitesi, hiperparametre ayarlamadan çok veri hazırlamaya bağlıdır. Yaygın bir hata, transfer öğrenmeyi bir veri miktarı sorunu olarak ele almaktır — milyonlarca ham belgeyi ince ayar sürecine besleyip modelin alan bilgisini özümsemesini ummak. Pratikte, 5.000-20.000 yüksek kaliteli örnekten oluşan özenle hazırlanmış bir veri seti, on kat daha büyük gürültülü bir veri setinden tutarlı biçimde daha iyi performans gösterir.

Hedef görevi kesin olarak tanımlayarak başlayın. Model destek biletlerini sınıflandırmaya ihtiyaç duyuyorsa, doğru kategorileriyle etiketlenmiş bilet veri seti oluşturun. Sözleşmelerden varlık çıkarması yapması gerekiyorsa, sözleşmeleri ihtiyacınız olan belirli alanlarla etiketleyin. Eğitim verileri ile üretim görevi arasındaki uyum ne kadar sıkıysa, o kadar az örneğe ihtiyacınız olur.

Göreve özgü ince ayardan önceki bir adım olan alana uyarlanmış ön eğitim için, alanınızdan temsili belgeleri toplayın ve düz metin olarak biçimlendirin. Bu, modele etiket gerektirmeden kelime dağarcığınızı ve söylem kalıplarınızı öğretir. Bu aşamayı, modelin genel yeteneklerinin felaket düzeyinde unutulmasını önlemek için düşük öğrenme hızıyla 1-3 dönem boyunca çalıştırın.

Veri tekilleştirme kritik öneme sahiptir. Transformer modelleri tekrarlanan örnekleri orantısız biçimde ezberler ve bu durum çıktıları bozar. Herhangi bir eğitim çalıştırmasına başlamadan önce eğitim külliyatınızda MinHash veya tam eşleşme tekilleştirmesi yapın.

Şirket İçi Donanım İçin Pratik Bir Eğitim Hattı

Şirket içi SLM uyarlaması için güvenilir bir eğitim hattı üç aşamalı bir kalıp izler: alana uyarlanmış ön eğitim, denetimli ince ayar ve isteğe bağlı hizalama ayarı.

İlk aşamada, modeli nedensel dil modelleme hedefi kullanarak etiketlenmemiş alan metnine maruz bırakın. Bu aşama, yaklaşık 2e-5 öğrenme hızıyla 1-3 dönem boyunca çalışır ve etiketli veri gerektirmez. Çıktı, terminolojinizi ve belge yapılarınızı anlayan alana uyarlanmış bir temel modeldir.

İkinci aşamada, talimat izleme formatını kullanarak etiketli örnekler üzerinde eğitin. Her örneği bir talimat-girdi-çıktı üçlüsü olarak yapılandırın. Kosinüs planlaması ve ısınma ile 1e-5 ile 5e-5 arasında öğrenme hızı kullanın. LoRA için, görev karmaşıklığına bağlı olarak rütbeyi 16-64 arasında ayarlayın.

İsteğe bağlı üçüncü aşama, tercih edilen ve reddedilen çıktı çiftlerini kullanarak DPO (Doğrudan Tercih Optimizasyonu) veya benzeri hizalama yöntemlerini uygular. Bu, modelin belirli biçimlendirme veya güvenlik kısıtlamalarını izlemesine ihtiyaç duyduğunuzda değerlidir.

Tüm aşamalar boyunca, hesaplama gücünü bellek karşılığında takas etmek için gradyan kontrol noktası kullanın. Bu, geri geçiş sırasında ara aktivasyonları saklamak yerine yeniden hesaplayarak en yüksek GPU belleğini azaltır.

Değerlendirme ve Sessiz Başarısızlıklardan Kaçınma

Transfer öğrenme sessizce başarısız olabilir. Eğitim kaybı düşer, model akıcı metin üretir ve otomatik metrikler kabul edilebilir görünür — ancak model aslında hedef görevi doğru şekilde yerine getirmez. Bu durum, eğitim verilerinin üretim kullanım durumundan farklı olması veya modelin küçük bir veri setindeki yüzeysel kalıplara aşırı uyum sağlaması durumunda ortaya çıkar.

Üretim koşullarını tam olarak yansıtan ayrılmış bir değerlendirme seti oluşturun. Model üretimde gürültülü OCR çıktısı alacaksa, değerlendirme setine gürültülü OCR çıktısı dahil edin. Sorgular birden fazla dilde gelecekse, çok dilli girdileri test edin.

İnce ayar yapılmış modeli MMLU veya HellaSwag gibi genel amaçlı bir kıyaslamada değerlendirerek felaket düzeyinde unutma kontrolü yapın. Genel yeteneklerde önemli bir düşüş, eğitimin çok agresif olduğunu gösterir.

Son olarak, mevcut bir sistemi değiştirmeden önce A/B testi veya gölge modu ile dağıtın. Tam bir dağıtıma geçmeden önce ince ayar yapılmış modelin çıktılarını gerçek üretim trafiğinde mevcut çözümle karşılaştırın.

Birden Fazla Alan Arasında Ölçeklendirme

Birden fazla iş birimi veya ürün hattına sahip kuruluşlar genellikle aynı temel modelin birkaç farklı alan için uyarlanmasına ihtiyaç duyar. Her alan için ayrı tam modeller eğitip dağıtmak, şirket içi depolama ve GPU kapasitesini hızla tüketir.

LoRA adaptörleri zarif bir çözüm sunar: GPU belleğinde tek bir temel model tutun ve istek bağlamına göre çıkarım zamanında adaptörleri değiştirin. Beş farklı alan adaptörü sunan tek bir 7B model, kabaca bir model artı beş küçük adaptör dosyası (genellikle her biri 50-200 MB) ile aynı GPU belleğini gerektirir. vLLM ve text-generation-inference gibi çıkarım çerçeveleri çoklu adaptör sunumunu doğal olarak destekler.

Şirket içi transfer öğrenme, hiper ölçekleyicilerin yaptığını daha küçük ölçekte kopyalamak değildir. Kanıtlanmış uyarlama tekniklerini altyapınızın belirli kısıtlamalarına ve avantajlarına uygulamakla ilgilidir. Parametre verimli yöntemler, özenle hazırlanmış alan verileri ve çoklu adaptör sunumunun birleşimi, şirket içi ekiplere bulut ölçeğinde kaynaklar gerektirmeden üretim kalitesinde dil modellerine ulaşmak için pratik bir yol sunar.

Öne çıkan görsel: Ferenc Almasi, Unsplash.