On-Premises Yapay Zeka Dağıtımlarında Sıfır Güven Mimarisi

Geleneksel Çevre Güvenliği Neden AI Altyapısı İçin Yetersiz

Çoğu kuruluş diğer her şeyi koruduğu gibi on-premises AI sistemlerini de aynı şekilde korur: bir ağ çevresiyle. Güvenlik duvarları, VPN'ler ve ağ segmentasyonu, güvenilir dahili sistemler ile güvenilmeyen dış dünya arasında bir sınır oluşturur. Çevrenin içine girildikten sonra, hizmetler minimum kimlik doğrulamayla serbestçe iletişim kurar.

Bu model geleneksel BT için bile kırılgan bir yapıydı. AI altyapısı için aktif olarak tehlikelidir. On-premises bir AI dağıtımı, bir organizasyonun sahip olduğu en hassas varlıklardan bazılarını — tescilli eğitim verilerini, kurumsal bilgiyi kodlayan ince ayarlı modelleri, gizli girdileri işleyen çıkarım uç noktalarını — tek bir güven sınırının arkasına yoğunlaştırır.

Saldırı yüzeyi de geleneksel uygulamalardan yapısal olarak farklıdır. AI sistemleri, düzenli kaynaktan veri çeken veri işlem hatlarına, yükseltilmiş hesaplama ayrıcalıkları gerektiren eğitim işlerine, çalıştırılabilir yapıtları depolayan model kayıt defterlerine ve keyfi kullanıcı girdisi kabul eden çıkarım API'lerine sahiptir.

Sıfır güven mimarisi, örtük güveni tamamen ortadan kaldırarak bunu ele alır. Her istek — bir kullanıcıdan, bir hizmetten veya bir işlem hattı bileşeninden gelen — ağ konumundan bağımsız olarak kimlik doğrulaması yapmalı, yetkilendirmeli ve şifrelemelidir.

Her Katmanda Kimlik ve Doğrulama

Sıfır güven kimlikle başlar. AI altyapınızdaki her bileşenin doğrulanabilir bir kimliğe ihtiyacı vardır — yalnızca kullanıcılar değil, hizmetler, işlem hattı aşamaları ve hatta bireysel model sürümleri.

İnsan kullanıcılar, mevcut kimlik sağlayıcınız (Active Directory, Okta, Keycloak) aracılığıyla çok faktörlü kimlik doğrulama zorunlu tutularak doğrulanmalıdır. AI platformları için ayrı kimlik bilgisi depoları oluşturmaktan kaçının.

Hizmet kimlikleri daha fazla düşünce gerektirir. Bir veri gölünden okuyan, bir model kayıt defterine yazan ve bir dağıtımı tetikleyen bir eğitim işlem hattı, üç işlem için de paylaşılan bir hizmet hesabı kullanmamalıdır. Bunun yerine, iş yükü kimlik mekanizmalarını kullanarak her işlem hattı aşamasına ayrı kimlikler atayın. SPIFFE, uzun ömürlü sırlar olmadan on-premises ortamlarda hizmet kimlikleri vermek ve doğrulamak için bir standart sağlar.

Model yapıtlarının kendileri de kimlik taşımalıdır. Model dosyalarını ve meta verilerini derleme zamanında bir kod imzalama iş akışı kullanarak imzalayın. Herhangi bir model çıkarım için yüklenmeden önce, imzasını güven kökünüze karşı doğrulayın. Bu, bir kayıt defteri veya depolama sisteminin kurcalanmış modeller sunmasını önler.

AI Kaynakları İçin İnce Taneli Yetkilendirme

Kimlik doğrulama "sen kimsin?" sorusunu yanıtlar. Yetkilendirme "ne yapmana izin veriliyor?" sorusunu yanıtlar. Sıfır güvenli bir AI dağıtımında yetkilendirme, "bu eğitim işi X veri setini okuyabilir ama Y'yi okuyamaz" ve "bu çıkarım uç noktası model sürüm 3'ü sunabilir ama deneysel dalı sunmayacaktır" gibi politikaları ifade edecek kadar ayrıntılı olmalıdır.

Yetkilendirmeyi kod olarak politika kullanarak uygulayın. Open Policy Agent (OPA) veya Cedar gibi araçlar, yetkilendirme kurallarını bildirimsel bir dilde tanımlamanıza, Git'te sürüm kontrolü yapmanıza ve tüm AI altyapı bileşenlerinde tutarlı bir şekilde uygulamanıza olanak tanır.

Politikalarınızı şu kaynak türleri etrafında yapılandırın:

• Veri setleri: Belirli veri setlerini kim okuyabilir, yazabilir veya silebilir. Hassas alanlar için sütun düzeyinde ve satır düzeyinde kısıtlamalar ekleyin.

• Hesaplama kaynakları: Hangi kullanıcılar ve hizmetler eğitim işleri planlayabilir ve hangi GPU havuzlarında. Yetkisiz kullanıcıların pahalı hesaplamayı tüketmesini önleyin.

• Model kayıt defteri: Kim model yayınlayabilir, üretime yükseltebilir veya geri alabilir. Deneysel bir model oluşturma yeteneklerinden onu üretim uç noktasına dağıtma yeteneklerini ayırın.

• Çıkarım uç noktaları: Hangi uygulamalar ve kullanıcılar belirli modelleri hangi hız sınırlarıyla ve hangi girdi türleri için çağırabilir.

Her yetkilendirme kararı tam bağlamla günlüğe kaydedilmelidir: kim neyi istedi, hangi politika değerlendirdi ve izin verildi mi yoksa reddedildi mi.

Aktarım Sırasında ve Beklemede Veri Şifreleme

Sıfır güven, ağın düşmanca olduğunu varsayar; bu, aynı fiziksel ana bilgisayarda çalışan hizmetler arasında bile her iletişim yolunun şifrelenmesi gerektiği anlamına gelir.

Aktarım sırasında: Tüm hizmetten hizmete iletişim için karşılıklı TLS (mTLS) zorunlu kılın. Kubernetes tabanlı on-premises dağıtımda, Istio veya Linkerd gibi bir servis ağı, uygulama kodunu değiştirmeden tüm AI iş yükleri arasında mTLS sertifika dönüşümünü ve uygulamasını otomatikleştirebilir.

Beklemede: Model dosyalarını, eğitim veri setlerini ve çıkarım günlüklerini zarf şifreleme kullanarak şifreleyin. On-premises dağıtımlar için HashiCorp Vault standart tercihtir.

Kullanım sırasında: En hassas iş yükleri için, Intel SGX veya AMD SEV gibi donanım tabanlı güvenilir çalışma ortamlarını (TEE'ler) kullanan gizli hesaplama düşünün. Bunlar, verileri işlenirken bile şifreler ve ayrıcalıklı sistem yöneticilerinden veya ele geçirilmiş hipervizörlerden gelen saldırılara karşı korur.

AI İşlem Hattını Uçtan Uca Güvence Altına Alma

Sıfır güvenli bir AI dağıtımı, yalnızca çalışma zamanı çıkarım katmanını değil, tüm yaşam döngüsünü güvence altına almalıdır: veri alma, özellik mühendisliği, eğitim, değerlendirme, dağıtım ve izleme.

Veri alma: Her veri kaynağının kimliğini doğrulayın. Bir işlem hattı aşaması, körü körüne bir dosya yolundan veya veritabanı bağlantı dizesinden okumamalıdır — kaynağın beklenen sistem olduğunu ve verilerin çıkarımdan bu yana kurcalanmadığını doğrulamalıdır.

Eğitim ortamı: Eğitim işlerini her çalıştırma için oluşturulan ve sonrasında yok edilen geçici ortamlarda izole edin. Veri setleri için salt okunur bağlamalar kullanın, böylece eğitim kodu kaynak verileri değiştiremez veya sızdıramaz. Eğitim ortamlarından giden ağ bağlantılarını izleyin.

Model yükseltme: Eğitilmiş modelden üretim uç noktasına giden yolu bir tedarik zinciri olarak ele alın. Bir modelin yükseltilmeden önce yetkili bir incelemeciden imzalı onay gerektirin.

Çıkarım çalışma zamanı: Bozuk veya düşmanca girdileri modele ulaşmadan önce reddetmek için girdi doğrulaması uygulayın. Tüm çıkarım isteklerini ve yanıtlarını değiştirilemez bir denetim deposuna kaydedin.

Her Şeyi Bir Anda Değiştirmeden Başlama

Mevcut bir on-premises AI dağıtımına sıfır güveni geriye dönük olarak eklemek birkaç çeyrek süren bir çabadır. Risk temelinde önceliklendirin:

Faz 1: Model kayıt defteri ve çıkarım uç noktaları için kimlik doğrulama ve kaba taneli yetkilendirme uygulayın. Bunlar en yüksek değerli hedeflerdir. Bu faz genellikle dört ila altı hafta sürer.

Faz 2: Tüm AI altyapı hizmetleri arasında mTLS ekleyin. Model yapıtları ve eğitim veri setleri için beklemede şifreleme etkinleştirin.

Faz 3: OPA veya Cedar kullanarak ince taneli, kod olarak politika yetkilendirmesi uygulayın. Denetim günlüğe kaydetme işlem hattını oluşturun.

Faz 4: Geçici ortamlar, veri köken doğrulaması ve model yükseltme için tedarik zinciri imzalama ile eğitim işlem hattına genişletin.

Her faz bağımsız güvenlik değeri sunar. Faydalarını görmeden önce tam yol haritasını tamamlamanız gerekmez — yalnızca birinci faz bile on-premises dağıtımlarındaki AI sistemlerine yetkisiz erişimin en yaygın kategorisini ortadan kaldırır.

Featured image by Albert Stoynov on Unsplash.