Yerel Altyapıda Alana Özgü Verilerle Küçük Dil Modellerinin İnce Ayarı

Alan Görevlerinde İnce Ayar Neden Prompt Mühendisliğini Geçer

1-7 milyar parametre aralığındaki küçük dil modelleri (SLM'ler) genel görevlerde dikkat çekici yetenekler kazanmıştır. Mistral 7B, Phi-3 ve Llama 3.2 gibi modeller, standart kıyaslamalarda güçlü performans sunarken mütevazı donanımlarda rahatça çalışır. Ancak genel yetenek ile alan uzmanlığı farklı kavramlardır. Kullanım durumunuz özel terminoloji, tescilli formatlar veya sektöre özgü muhakeme kalıpları içeriyorsa, genel amaçlı bir SLM, promptlarınızı ne kadar dikkatli hazırlarsanız hazırlayın zorlanacaktır.

İnce ayar, modelin ağırlıklarını alanınıza uyarlar ve prompt mühendisliğinin tek başına aktaramayacağı kalıpları öğretir. İnce ayarlı bir SLM, kuruluşunuzun belge kurallarını, teknik kelime dağarcığını, sınıflandırma şemalarını ve alana özgü mantığını öğrenebilir. Sonuç, ayrıntılı prompt stratejilerine gerek kalmadan tutarlı biçimde alana uygun çıktılar üreten bir modeldir.

Bunu yerel altyapıda yapmak, tescilli eğitim verilerinizin — belgelerinizde, süreçlerinizde ve kararlarınızda kodlanmış rekabet avantajınızın — altyapınızı asla terk etmemesi anlamına gelir. Düzenlemeye tabi sektörlerdeki veya katı fikri mülkiyet politikaları olan kuruluşlar için bu isteğe bağlı değil, bir ön koşuldur.

Alan Verilerinin İnce Ayar İçin Hazırlanması

İnce ayarlı modelinizin kalitesi tamamen eğitim verilerinizin kalitesine bağlıdır. Küçük bir veri kümesinin modelin davranışı üzerinde orantısız etkisi olduğu ince ayarda bu ilke özellikle geçerlidir.

Veri toplama, modelin gerçekleştirmesini istediğiniz belirli görevi tanımlamakla başlar. "Alanımızı anlamak" çok belirsizdir — "müşteri destek taleplerini 15 kategoriye sınıflandırmak" veya "mühendislik raporlarından yapılandırılmış özetler oluşturmak" size somut bir hedef verir. Görev tanımı, eğitim örneklerinizin neye benzediğini belirler.

Veri biçimlendirme için talimat ince ayarı genellikle sistem, kullanıcı ve asistan rolleriyle bir sohbet şablonunu takip eder. Her örneği, kullanıcı mesajının girdiyi ve asistan mesajının istenen çıktıyı içerdiği bir konuşma turu olarak yapılandırın. Çoğu ince ayar çerçevesi, fiilen standart haline gelen OpenAI sohbet formatını takip eden "messages" dizisiyle JSONL formatında veri bekler.

Veri kalite kontrolleri vazgeçilmezdir. En az 100 örnekten oluşan rastgele bir örneği manuel olarak inceleyin. Biçimlendirme tutarsızlıklarını, örnekler arasındaki çelişkileri ve etiket gürültüsünü arayın. Sorunlu örnekleri kaldırın veya düzeltin. 500 yüksek kaliteli örnekten oluşan temiz bir veri kümesi, genellikle 5.000 gürültülü örnekten oluşan bir veri kümesinden daha iyi performans gösterir.

Veri artırma, yeni örnekler toplamadan sınırlı bir veri kümesini genişletebilir. Teknikler arasında çıktıları sabit tutarak girdileri başka sözcüklerle ifade etmek, temel olmayan ayrıntıları değiştirerek mevcut örneklerin varyasyonlarını oluşturmak ve daha sonra manuel olarak doğruladığınız aday örnekler oluşturmak için daha büyük bir model kullanmak yer alır.

Yerel İnce Ayar İçin Altyapı Gereksinimleri

Bir SLM'nin yerel altyapıda ince ayarı, önceden eğitimden önemli ölçüde daha az kaynak gerektirir, ancak yine de dikkatli altyapı planlaması ister. Donanım gereksinimleri model boyutuna, eğitim yaklaşımına ve veri kümesi ölçeğine bağlıdır.

7 milyar parametreli bir modelin tam ince ayarı için 40GB veya daha fazla VRAM'e sahip en az bir GPU'ya ihtiyacınız vardır — NVIDIA A100 40GB veya A6000 48GB bu işi rahatça halleder.

Çoğu pratik amaç için LoRA (Low-Rank Adaptation) veya QLoRA, donanım gereksinimlerini önemli ölçüde azaltır. LoRA orijinal model ağırlıklarını dondurur ve modelin davranışını değiştiren küçük adaptör matrisleri eğitir. QLoRA, temel modeli 4-bit hassasiyete niceleyerek 7B modeli 16GB VRAM'e sahip tek bir GPU'da ince ayar yapmaya yetecek kadar bellek gereksinimlerini azaltır — NVIDIA RTX 4090 veya T4 yeterlidir.

Yazılım tarafında, Hugging Face Transformers kütüphanesi ile PEFT (Parameter-Efficient Fine-Tuning) kombinasyonu en olgun ve iyi belgelenmiş ince ayar yığınını sağlar. Eğitim orkestasyonu için Axolotl, bu kütüphaneleri yapılandırma odaklı bir iş akışına sarar. Tüm bu araçlar, herhangi bir bulut bağımlılığı olmadan tamamen yerel altyapıda çalışır.

İnce Ayar Süreci Adım Adım

Adım 1: Referans çizgisi oluşturun. İnce ayardan önce, temel modeli ayrılmış bir test kümesinde değerlendirin. Bu, iyileştirmeniz gereken somut bir performans sayısı verir. Temel modeli 50-100 temsili örnek üzerinde çalıştırın ve çıktıları görev özel metriklerinizi kullanarak puanlayın.

Adım 2: Eğitim çalışmasını yapılandırın. LoRA derecenizi ayarlayın (r=16 alan adaptasyonu için sağlam bir başlangıç noktasıdır), dikkat katmanlarını hedefleyin, öğrenme oranını kosinüs programıyla 2e-4'e ayarlayın ve 3-5 epoch eğitin. Bellek sıkışıksa gradyan kontrol noktalarını etkinleştirin.

Adım 3: Eğitimi izleyin. Her değerlendirme adımında eğitim kaybını, doğrulama kaybını ve görev özel metriklerinizi takip edin. Aşırı öğrenmeyi gözlemleyin — eğitim kaybı azalmaya devam ederken doğrulama kaybı sabitlenir veya artarsa, genellenebilir kalıplar öğrenmek yerine eğitim verilerini ezberliyorsunuz demektir.

Adım 4: İnce ayarlı modeli değerlendirin. İnce ayarlı modeli, referans değerlendirmesi için kullanılan aynı test kümesinde çalıştırın. Metrikleri doğrudan karşılaştırın. Ayrıca nitel değerlendirme yapın — 20-30 çıktıyı okuyun ve modelin alan kalıplarını mı yoksa yüzeysel biçimlendirmeyi mi öğrendiğini değerlendirin.

Adım 5: Yineleyin veya dağıtın. Performans yetersizse, farklı hiperparametrelerle eğitimi yeniden çalıştırmadan önce nedeni teşhis edin. Model performans kriterlerinizi karşılıyorsa, LoRA adaptörlerini temel model ağırlıklarına birleştirin ve dağıtım için tek bir model dosyası dışa aktarın.

Gerçekten İşe Yarayan Değerlendirme Stratejileri

İnce ayarlı dil modellerini değerlendirmek, sınıflandırıcıları değerlendirmekten daha zordur çünkü çıktı alanı açık uçludur. Oluşturulan bir özet birçok farklı şekilde doğru olabilir ve otomatik metrikler kalitenin yalnızca bazı boyutlarını yakalar.

Genel kıyaslamalara güvenmek yerine göreve özgü bir değerlendirme paketi oluşturun. Modeliniz belgeleri sınıflandırıyorsa, sınıf sınırlarına yakın belirsiz durumlar dahil olmak üzere her sınıf için en az 20 örnekle bir test kümesi oluşturun.

Otomatik ve insan değerlendirmesini birleştirin. Otomatik metrikler, eğitim çalışmalarını karşılaştırmak için uygun hızlı, tekrarlanabilir puanlar sağlar. İnsan değerlendirmesi, metriklerin kaçırdığı kalite boyutlarını yakalar — akıcılık, uygunluk, olgusal dayanıklılık ve çıktının pratikte gerçekten yararlı olup olmayacağı.

Genel yeteneklerde gerileme testleri yapın. İnce ayar, modelin alan uzmanlığı kazanırken genel becerileri kaybettiği felaket düzeyinde unutmaya neden olabilir. İnce ayarlı modeli küçük bir genel amaçlı görev kümesinde çalıştırarak alanınız dışında hala iyi davrandığını doğrulayın.

İnce Ayarlı Modelden Üretim Servisine

İnce ayarlı bir model, yalnızca güvenilir biçimde tahminler sunduğunda değerlidir. Birleştirilmiş modeli, harici bağımlılığı olmadan yerel altyapıda çalışan vLLM, llama.cpp veya TGI (Text Generation Inference) gibi bir çıkarım sunucusu kullanarak dağıtın. vLLM, sürekli gruplama yoluyla eşzamanlı istekler için en iyi verimi sunar; llama.cpp, agresif niceleme ile yalnızca CPU düğümlerinde veya sınırlı GPU donanımında çalışırken öne çıkar.

Baştan itibaren bir sürümleme stratejisi uygulayın. Dağıtılan her modeli eğitim veri kümesi sürümü, ince ayar yapılandırması ve değerlendirme metrikleriyle etiketleyin. Bu meta verileri model kayıt defterinizde model ağırlıklarının yanında saklayın.

İnce ayarlı modelin üretim performansını, değerlendirme sırasında kullandığınız aynı metriklerle izleyin. Girdileri, çıktıları ve kullanıcı geri bildirimlerini kaydedin. Alan kaymasını gözlemleyin — gerçek dünya giriş dağılımı zaman içinde değişecek ve ince ayar verileriniz eskiyebilir. Üretim performans metriklerinin kabul eşiklerinizin altına düştüğünde uyarılar ayarlayın ve bir sonraki ince ayar yinelemesi için üretim verilerini eğitim veri kümenize geri besleyin.

Kapak görseli: Sam Moghadam, Unsplash.