Nvidia’dan Yapay Zekâ Ajanlarına Yeni Güvenlik Kalkanı

Yapay zekâ artık yalnızca sorulara cevap vermiyor. Yeni nesil yapay zekâ ajanları, verilen görevi yerine getirmek için bilgisayarda dosya açabiliyor, kod çalıştırabiliyor, internet sitelerine bağlanabiliyor ve farklı programlarla etkileşime girebiliyor…

Bu yetenekler arttıkça başka bir soru da önem kazanıyor: Bir yapay zekâ ajanına verilen görevin dışına çıkmaması nasıl sağlanacak?

Nvidia, bu soruna yönelik Open Agent Safety Platform adlı yeni güvenlik platformunu duyurdu. Şirketin açıklamasına göre sistem, yapay zekâ ajanlarının hangi kaynaklara ulaşabileceğini önceden belirlemeyi ve çalışma sırasında ne yaptığını takip etmeyi amaçlıyor.

Platform iki temel parçadan oluşuyor: OpenShell ve Sentry. İlki yazılım üzerinden sınırlar koyuyor, ikincisi ise ajanı ayrı bir donanım katmanından izlemeyi hedefliyor.

Ajanlara Sınır Konuluyor

Konuyu basit bir örnek üzerinden düşünmek mümkün.

Bir şirkette çalışan yapay zekâ ajanından bir yazılım projesindeki hataları düzeltmesi isteniyor. Bunun için proje dosyalarını okuması ve değiştirmesi gerekiyor. Ancak şirketin muhasebe dosyalarına, çalışanların kişisel bilgilerine veya başka projelere erişmesi gerekmiyor.

Normalde ajana çok geniş yetkiler verilirse, teknik olarak erişebildiği alan da gereğinden fazla büyüyebilir.

Nvidia‘nın yaklaşımı burada devreye giriyor. Amaç, ajana “Şu dosyalara ve şu araçlara erişebilirsin, diğerlerine erişemezsin” şeklinde sınırlar koymak.

Bu sınırları belirleyen temel yazılım OpenShell.

OpenShell Ne Yapıyor

OpenShell, yapay zekâ ajanının çalışabileceği alanı belirleyen bir tür güvenlik katmanı olarak tasarlanıyor.

Örneğin bir ajanın yalnızca belirli bir klasördeki dosyalarla çalışmasına izin verilebiliyor. İnternete bağlanması gerekiyorsa hangi bağlantılara ulaşabileceği sınırlandırılabiliyor. Bir veritabanı kullanacaksa hangi veritabanına erişebileceği ve hangi işlemleri yapabileceği belirlenebiliyor.

Buradaki temel fikir oldukça basit:

Ajanın ihtiyacı olmayan hiçbir şeye erişmesine izin verme.

OpenShell aynı zamanda ajanı bilgisayarın geri kalanından ayrılmış bir çalışma ortamında tutmayı amaçlıyor. Böylece ajanın çalıştığı alan ile bilgisayarın diğer bölümleri arasında bir sınır oluşturuluyor.

Bu, bir çalışanın yalnızca kendi odasına girebildiği, binanın diğer bölümlerine ise kartı olmadığı için geçemediği bir sisteme benzetilebilir.

Sentry Ne İşe Yarıyor

Nvidia‘nın sistemindeki ikinci katman Sentry.

Sentry‘nin farkı, ajanla aynı yazılım ortamının içinde çalışmak yerine ayrı bir donanım katmanından güvenlik kontrolü sağlamayı hedeflemesi.

Buradaki mantık da basit: OpenShell ajana “Nereye gidebilirsin?” diye sınır koyarken Sentry“Gerçekte ne yapıyorsun?” sorusuna bakıyor.

Sentry, Nvidia‘nın açıklamasına göre BlueField-4 adı verilen veri işleme birimleri üzerinde çalışacak. Bu donanım, bilgisayar sistemlerinde belirli veri ve güvenlik işlemlerini ana işlemciden ayrı şekilde gerçekleştirebiliyor.

Böylece yapay zekâ ajanının faaliyetlerinin ayrıca izlenmesi amaçlanıyor. Belirlenen güvenlik kurallarına aykırı bir durum tespit edilirse sistemin ajanı izole etmesi veya çalışmasını durdurabilmesi hedefleniyor.

Bunu bir binadaki güvenlik sistemi gibi düşünmek mümkün. Çalışanın elindeki kart hangi kapıları açabileceğini belirliyor. Güvenlik kameraları ise çalışanın binada nerelere gittiğini ayrıca takip ediyor.

İki Katman Birlikte Çalışıyor

OpenShell ile Sentry arasındaki farkın anlaşılması platformun çalışma mantığını da açıklıyor.

OpenShell daha çok önceden belirlenen izinlerle ilgileniyor. Sentry ise çalışma sırasında ortaya çıkan hareketleri izlemeyi amaçlıyor.

Örneğin bir yapay zekâ ajanının yalnızca “Proje A” klasöründe çalışmasına izin verilmiş olsun.

Ajanın bu klasörde dosya açması normal bir işlem. Ancak “Personel Bilgileri” klasörüne ulaşmaya çalışması belirlenen kuralların dışında olabilir.

Bu durumda OpenShell erişim sınırını uygularken Sentry‘nin de bu tür faaliyetleri bağımsız bir katmandan takip etmesi hedefleniyor.

Nvidia‘nın yaklaşımındaki önemli nokta burada ortaya çıkıyor: Güvenlik yalnızca yapay zekâ ajanının “kurallara uyacağına” bırakılmıyor. Ajanın ulaşabileceği alan sınırlandırılıyor ve faaliyetlerinin ayrıca izlenmesi amaçlanıyor.

Neden Böyle Bir Sisteme İhtiyaç Var

Yapay zekâ ajanları geleneksel sohbet robotlarından farklı olarak bilgisayarlarda gerçek işlemler yapabiliyor.

Bir sohbet robotunun yanlış bir cevap vermesi ile bir ajanın yanlış dosyayı silmesi aynı şey değil. Ajanın bilgisayarda işlem yapma yetkisi arttıkça, yaptığı hatanın sonucu da daha önemli hale gelebiliyor.

Nvidia‘nın teknik belgelerinde bu nedenle “agent drift” adı verilen bir riskten söz ediliyor. Kavram, ajanın başlangıçta verilen görev veya izinlerin dışına taşabilecek davranışlarını anlatmak için kullanılıyor.

Şirketin teknik açıklamalarında, bazı ajanların test veya yalıtılmış ortamlarda kendileri için belirlenen sınırların dışına çıkmaya çalışabildiğine ilişkin örnekler de bulunuyor.

Burada Nvidia‘nın anlattığı senaryoları, bütün yapay zekâ ajanlarının mutlaka böyle davranacağı şeklinde yorumlamamak gerekiyor. Şirketin ortaya koyduğu temel mesele, ajanların giderek daha fazla yetkiye sahip olması halinde bu yetkilerin nasıl kontrol edileceği.

100’den Fazla Kuruluş Çalışıyor

Nvidia, 100’den fazla kuruluşun Open Agent Safety Platform‘un teknolojileri üzerinde çalıştığını veya bunları kendi yapay zekâ sistemlerine entegre ettiğini açıkladı.

Şirketin verdiği isimler arasında Microsoft, Anthropic, JPMorganChase, SAP, IBM, Cisco, CrowdStrike, Hugging Face, Salesforce, ServiceNow, Siemens, Palantir ve Palo Alto Networks bulunuyor.

Nvidia‘ya göre Anthropic, Claude Managed Agents için OpenShell ve BlueField entegrasyonları üzerinde çalışıyor. Salesforce ise OpenShell’i Slack ile birlikte kullanarak yapay zekâ ajanlarının faaliyetlerinin ve izinlerinin izlenmesine yönelik bir yapı geliştiriyor.

Bu çalışmalar, yapay zekâ ajanlarının yalnızca bireysel kullanıcıların bilgisayarlarında değil, şirketlerin kullandığı büyük dijital sistemlerde de daha fazla görev üstlenmeye başladığı bir döneme işaret ediyor.

Yapay Zekâda Yeni Güvenlik Katmanı

Open Agent Safety Platform’un bütün yapay zekâ güvenliği sorunlarını çözmesi beklenmiyor. Yapay zekânın yanlış karar vermesi, hatalı bilgi üretmesi veya kendisine verilen meşru bir yetkiyi yanlış kullanması gibi sorunlar farklı güvenlik yöntemlerini gerektiriyor.

Nvidia’nın önerdiği sistemin amacı daha dar ve daha somut: Bir yapay zekâ ajanının bilgisayarda neye erişebileceğini sınırlamak ve çalışma sırasında ne yaptığını ayrıca kontrol etmek.

Bu nedenle platformu anlamanın en kolay yolu iki basit cümleyle özetlemek:

OpenShell ajanın hareket alanını belirliyor. Sentry ise bu alan içinde ne yaptığını izlemeyi hedefliyor.

Yapay zekâ ajanları daha fazla dosyaya, programa ve çevrim içi hizmete eriştikçe, bu tür çok katmanlı güvenlik sistemlerinin nasıl kullanılacağı da giderek daha önemli hale gelebilir.