Secure AI Architecture
On-prem LLM, RAG ve agent sistemleri için yerel donanımda test edilmiş referans mimariler.
Her pattern, bir modelin etrafına konan bir kontroldür ve önlediği hata yerel bir makinede ölçülür. Sayılar repodaki test aracından gelir, elle yazılmaz, yeniden üretilir. Pattern'ler nasıl test ediliyor.
Pattern'ler
- Yapılandırılmış çıktı: sisteme girmeden önce doğrula Test edildi
Model çıktısını bir şemaya zorla, uymayanı reddet, modele düzeltmesi için tek bir şans ver. Kalanı insana gider.
- Yetki filtreli getirme: erişim kontrolü aramanın içinde olmalı Test edildi
RAG sisteminde modelin ne göreceğine getirici karar verir. Kullanıcının erişim kontrolünü arama sorgusunun içine koyun; aramadan sonraya ya da prompt'a değil.
- Araç sınırı: bir ajanın ne yapabileceğine araçları karar verir Test edildi
Silme aracı olan bir ajan silmeye ikna edilebilir. Geri alınamaz işlemleri araç setinden çıkarın, parametreleri kodda doğrulayın, geri dönüşü olmayan değişiklikleri bir kişiye yönlendirin.
- Tenant sınırı: bir sorgunun hangi tenant'a ulaşacağına oturum karar verir Test edildi
Tek bir ajan birçok müşteriye hizmet veriyorsa tenant'ı süreç başlarken sabitleyin, oturum kimliğini modelden uzak tutun ve her sorguyu veritabanında o tenant'la sınırlayın.
- İş akışı mı ajan mı: adımlara kim karar veriyorsa neyin olabileceğine o karar verir Test edildi
Bir görevin sabit bir prosedürü varsa prosedürü kodda çalıştırın ve modeli yalnızca dil okuması ya da yazması gereken yerde çağırın. Adım seçimini modele yalnızca adımlar önceden yazılamıyorsa bırakın ve o zaman da sınırlayın.