Çoklu Model AI Hatları için Devre Kesici Desenleri

Zincirlenmiş Model Çıkarımında Kırılganlık Problemi

Çoklu model AI hatları doğası gereği kırılgandır. Tipik bir kurumsal hat, bir gömme modeli, bir alma adımı, bir akıl yürütme LLM'i, bir koruma sınıflandırıcısı ve bir yanıt biçimlendiricisini zincirleyebilir. Bu zincirdeki herhangi bir model bozulduğunda veya başarısız olduğunda, tüm hat durur ve kullanılabilir bir çıktı üretmeden GPU kaynaklarını tüketir.

Geleneksel yeniden deneme mantığı bunu daha da kötüleştirir. Bir akıl yürütme modeli yük altında zaman aşımına uğramaya başlarsa, naif yeniden denemeler baskıyı çoğaltarak tüm çıkarım kümesini çökertebilecek kademeli bir arıza yaratır. Dağıtık sistem mühendisliğinin on yıllar önce mikro hizmetler için çözdüğü desenler, çoklu model AI hatlarına doğrudan uygulanır; ancak birçok AI platform ekibi kanıtlanmış dayanıklılık desenlerini adapte etmek yerine hata yönetimini sıfırdan yeniden icat eder.

Model Çıkarımı için Devre Kesici Temelleri

Bir devre kesici, aşağı akış bağımlılığının sağlığını izler ve arıza oranları bir eşiği aştığında istek göndermeyi durdurur. Model çıkarımına uygulandığında, her model uç noktası yanıt gecikmesini, hata oranlarını ve zaman aşımı sıklığını takip eden kendi devre kesicisine sahip olur.

Devre kesici üç durumda çalışır: Kapalı (normal çalışma, istekler geçer), Açık (arızalar eşiği aştı, istekler anında reddedilir veya yönlendirilir) ve Yarı Açık (modelin toparlanıp toparlanmadığını test etmek için periyodik olarak sonda isteklerine izin verilir).

AI iş yükleri için tetikleme koşulları AI'ya özgü ayarlama gerektirir. Yüksek perplexity saçmalıklar döndüren bir model, HTTP düzeyinde teknik olarak başarılı olur ancak semantik düzeyde başarısız olur. Devre kesiciniz kalite sinyallerini içermelidir: bir koruma modeli yukarı akış modelinden gelen yanıtların olağandışı bir yüzdesini işaretlemeye başlarsa, HTTP düzeyinde hatalar olmasa bile o yukarı akış modelinin devre kesicisi tetiklenmelidir. Bu semantik sağlık kontrolü, AI devre kesicilerini geleneksel hizmet devre kesicilerinden ayırır.

Model Aşamaları Arasında Yalıtım Bölmesi Uygulaması

Yalıtım bölmesi desenleri kaynakları böler, böylece bir bileşendeki arıza diğerlerinin ihtiyaç duyduğu kaynakları tüketemez. Çoklu model hatlarında bu, GPU belleğini, bağlantı havuzlarını ve istek kuyruklarını tüm hat boyunca tek bir kaynak havuzunu paylaşmak yerine model aşaması başına izole etmek anlamına gelir.

Pratik bir uygulama, her hat aşamasına sınırlı kapasiteli kendi istek kuyruğunu atar. Bozulmuş bir modelin kuyruğu dolduğunda, yeni istekler diğer hat aşamalarına hizmet eden iş parçacıklarını engellemek yerine anında bir geri dönüş yanıtı alır. Bu, yavaş bir gömme modelinin aşağı akıştaki sağlıklı bir sınıflandırıcının ihtiyaç duyduğu istek iş parçacıklarını aç bırakmasını önler.

GPU düzeyinde, yalıtım bölmesi izolasyonu kritik model aşamaları için belirli GPU bellek bölümlerini ayırmak anlamına gelir. NVIDIA MPS (Multi-Process Service) veya MIG (Multi-Instance GPU) bölümlendirmesi kullanarak, bir hat aşamasındaki bellek sızıntısı yapan bir modelin, GPU belleğini paylaşan başka bir aşamanın modelini çıkaramamasını garanti edebilirsiniz. Bu izolasyon olmadan, tek bir sorunlu model, GPU'sunu paylaşan tüm modeller arasında kademeli soğuk başlatma gecikmesini tetikleyebilir.

Üretim trafiği için öncelik yalıtım bölmeleri uygulayın: arka plan görevlerinin (toplu işleme, değerlendirme çalıştırmaları) erişemeyeceği özel çıkarım kapasitesi ayırın. Bu, her ikisi de aynı fiziksel kümeyi paylaşsa bile toplu iş yüklerindeki ani artışın gerçek zamanlı çıkarımı bozmayacağını garanti eder.

Model Zincirleri için Uyarlanabilir Zaman Aşımı Stratejileri

Statik zaman aşımları çoklu model hatlarında tehlikelidir çünkü çıkarım gecikmesi giriş karmaşıklığına göre dramatik şekilde değişir. 30 tokenlik bir istem ve 4000 tokenlik bir belge, aynı model üzerinde çok farklı yürütme süreleri üretir. Zaman aşımlarını çok agresif ayarlamak meşru uzun süren istekleri öldürür; çok gevşek ayarlamak bozulmuş modellerin kaynakları süresiz tutmasına izin verir.

Giriş özelliklerine ve son model performansına göre ayarlanan uyarlanabilir zaman aşımları uygulayın. Giriş token sayısı, model yükü ve benzer istekler için döner p95 gecikmesine dayalı olarak her istek için beklenen bir yürütme süresi hesaplayın. Zaman aşımını bu beklenen sürenin yapılandırılabilir bir katı (genellikle 2-3x) olarak ayarlayın. Bu yaklaşım, anormal yavaşlığı hızla tespit ederken meşru varyansa doğal olarak uyum sağlar.

Zincirlenmiş hatlar için bir son tarih yayılımı deseni uygulayın: ilk istek toplam bir son tarih taşır ve her hat aşaması beklenen yürütme süresini çıkararak kalan bütçeyi aşağı akışa aktarır. Orta hat aşaması beklenenden fazla zaman tüketirse, aşağı akış aşamaları daha sıkı son tarihler alır ve daha fazla hesaplama yatırmadan önce daha hızlı (muhtemelen daha düşük kaliteli) yürütme yolları seçmelerine veya isteği zarif bir şekilde reddetmelerine olanak tanır.

Geri Dönüş Stratejileri: Sert Arıza Yerine Zarif Bozulma

Bir devre kesici tetiklendiğinde, hattın istekleri göndereceği bir yere ihtiyacı vardır. AI iş yükleri için etkili geri dönüş stratejileri, geleneksel hizmet geri dönüşlerinden farklıdır çünkü kısmi veya daha düşük kaliteli sonuçlar genellikle hiç sonuç olmamasından daha değerlidir.

Her hat aşaması için bir model bozulma hiyerarşisi tasarlayın. Birincil akıl yürütme modelinin devre kesicisi açıldığında, yeterli (daha az sofistike olsa da) yanıtlar üreten daha küçük, daha hızlı bir modele yönlendirin. Gömme modeli bozulduğunda, bilinen sorgular için önbelleğe alınmış gömmelere veya daha basit TF-IDF alma yoluna geri dönün. Koruma modeli kullanılamadığında, tüm yanıtları engellemek yerine statik kural tabanlı filtreleme uygulayın.

Bozulmayı yukarı akış çağrıcılarına ileten kalite farkındalıklı geri dönüşler uygulayın. Bir hat bozulmuş modda çalıştığında, yanıtları hangi geri dönüşlerin aktif olduğunu gösteren meta verilerle etiketleyin. Bu, tüketen uygulamaların uygun güven göstergeleri görüntülemesine veya geri dönüş yollarından oluşturulan yanıtlar için insan incelemesi tetiklemesine olanak tanır.

Semantik benzerliğe göre anahtarlanmış son başarılı yanıtları önbelleğe alın. Bir model devre kesicisi açıkken, yeterince benzer bir isteğin yakın zamanda başarıyla sunulup sunulmadığını kontrol edin. Geri dönüş olarak semantik önbelekleme, devre kesici toparlanma için sonda yaparken kısa kesintiler sırasında yanıt oranlarını koruyabilir.

Üretim Dayanıklılığı için Gözlemlenebilirlik ve Ayarlama

Devre kesiciler yalnızca düzgün ayarlandığında etkilidir ve ayarlama görünürlük gerektirir. Her devre kesiciyi şu metriklerle enstrümante edin: tetikleme sıklığı, açık durumda geçirilen süre, geri dönüş çağırma oranları ve toparlanma sondası başarı oranları. Açık ve kapalı durumlar arasında hızla salınan devre kesiciler için uyarı verin; bu, tetikleme eşiğinin normal çalışma varyansına çok yakın olduğunu gösterir.

Model hattınıza karşı kaos mühendisliği tatbikatları yapın. Bireysel model aşamalarına kasıtlı olarak gecikme enjekte edin, GPU bellek baskısını simüle edin ve tepe yük sırasında model süreçlerini öldürün. Devre kesicilerin uygun eşiklerde tetiklenip tetiklenmediğini ve geri dönüş yollarının kabul edilebilir sonuçlar üretip üretmediğini gözlemleyin. Bu tatbikatlar sıklıkla geri dönüş modellerinin hattın beklenen giriş/çıkış formatlarıyla uyumluluğunun bozulduğunu ortaya çıkarır.

Her hat aşamasının sağlığını, aktif devre kesici durumlarını, mevcut geri dönüş seviyelerini ve uçtan uca hat başarı oranlarını gösteren bir dayanıklılık panosu sürdürün. Bu pano olaylar sırasında vazgeçilmez hale gelir ve hangi aşamanın bozulduğuna ve dayanıklılık desenlerinin tasarlandığı gibi çalışıp çalışmadığına anında görünürlük sağlar.

Öne çıkan görsel: Albert Stoynov tarafından Unsplash'ta paylaşılmıştır.