Nvidia, yapay zeka ajanlarını kontrol altında tutacak yazılım platformunu duyurdu

Nvidia, insan komutlarını bağımsız biçimde yerine getiren yapay zekâ ajanlarının güvenli çalışma alanlarında tutulması amacıyla yeni bir yazılım platformu geliştirdi. San Jose merkezli şirketin kullanıma sunduğu Open Agent Safety Platform, otonom sistemlerin kendilerine tanınan yetkileri aşmasını ve kısıtlanmış çalışma alanlarının dışına çıkmasını önlemeyi hedefliyor.

OTOMATİK KARANTİNA 

Nvidia Başkan Yardımcısı Justin Boitano’nun ayrıntılarını paylaştığı platform, yapay zekâ ajanlarının 'sandbox' olarak adlandırılan kısıtlı ortamlarda yürüttüğü işlemleri güvenlik sınırları içinde tutmak üzere tasarlandı. Platformla birlikte duyurulan Sentry aracı, belirlenen operasyonel sınırların dışına çıkmaya teşebbüs eden yazılımları otomatik olarak karantinaya alıyor.

Böylece ajanların faaliyetlerine doğrudan müdahale edilebiliyor. İnsan komutlarını otonom biçimde uygulama yeteneği gelişen sistemlerin altyapı güvenliğini tehlikeye atmasını engellemek, bu denetim mekanizmasının temel amacını oluşturuyor.

İHLALLERİN ARDINDAN 

Yeni platform, yapay zekâ sektöründe yaşanan altyapı ihlallerinin ardından kullanıma sunuldu. Google ve Meta’nın modellerinde kısıtlanmış çalışma alanlarının dışına çıkma sorunları tespit edilirken Hugging Face, 17 binden fazla yapay zekâ ajanının günlerce süren kontrolsüz siber saldırısına maruz kalmıştı.

 OpenAI’ın geliştirdiği sistemlerdeki güvenlik ihlalleri de sektörde geniş yankı uyandırdı. Bu tür sorunlara çözüm sunduğu belirtilen Open Agent Safety Platform, otonom yazılımların şirket ağlarında yol açabileceği finansal kayıpları ve operasyonel riskleri önlemeyi amaçlıyor.

100’Ü AŞKIN ORTAK 

Nvidia’nın ajan güvenliğine yönelik girişimine 100’ü aşkın sektör ortağı destek verdi. Microsoft, Cisco, Dell, Oracle ve Intel, platformun etrafında bir araya gelen şirketler arasında bulunuyor. Otonom modeller geliştiren OpenAI ise bu ortaklık yapısında yer almıyor.

Kurumsal teknoloji pazarından geniş katılım gören girişimin, sanayi tesisleri ve veri merkezlerinde yapay zekâ ajanlarının güvenliğine yönelik fiilî bir standarda dönüşme potansiyeli taşıdığı belirtiliyor.

GÜVENLİKTE FARKLI YAKLAŞIMLAR 

Platformun kullanıma açılması, teknoloji şirketlerinin yapay zekâ güvenliği ile geliştirme hızına ilişkin farklı yaklaşımlarını da gündeme getirdi. Nvidia CEO’su Jensen Huang, güvenlik risklerini bilgisayar bilimi yöntemleriyle çözülebilecek somut mühendislik sorunları olarak değerlendiriyor.

Anthropic CEO’su Dario Amodei ise daha gelişmiş güvenlik yapıları kurulana kadar yapay zekâ geliştirme süreçlerinin yavaşlatılması gerektiğini savunuyor. Nvidia, mühendislik temelli denetim araçlarıyla otonom programları insan gözetiminde tutmayı ve yapay zekâ pazarındaki ticari büyümenin hızını korumayı hedefliyor.