Anthropic, Claude ile 123 açık kaynak kütüphanedeki açıkları buldu

Anthropic, yazılım doğrulama şirketi Theorem ile yürüttüğü çalışmada Claude’u açık kaynak kodlarının belirli güvenlik koşullarını sağlayıp sağlamadığını matematiksel olarak sınamak için kullandı. Ekip, geleneksel testlerin tek tek deneyebildiği girdilerin ötesine geçerek 123 kütüphanedeki 239 test giriş noktasında, 64 MB’ın altındaki girdilerle programın çökmediğini kanıtladı. Bu sonuç, araştırmada modellenen işlemci ve işletim sistemi koşulları için geçerli.

180 MİLYON SATIRLIK KANIT

Araştırmacılar, mevcut otomatik testleri matematiksel olarak tanımlanmış koşullara dönüştürdü. Claude, RISC-V mimarisi için derlenmiş kod üzerinde toplam yaklaşık 180 milyon satır kanıt üretti; kanıtları bağımsız Rocq yazılımı denetledi. Claude, doğrulama sırasında bulduğu bazı hataları düzelttikten sonra güncellenen kod için yeniden kanıt hazırladı.

TESTLERİN KAÇIRDIĞI HATALAR

Anthropic’e göre süreç yüzlerce hatayı açığa çıkardı. Bunlar arasında, yaklaşık 20 MB’lık özel bir girdide bellek sınırları dışına yazmaya yol açan sıkıştırma hatası ile çalışması için 64 MB girdi ve 2 GB’tan fazla bellek gerektiren bir görüntü çözücü hatası bulunuyor. Ekip, libexpat XML ayrıştırıcısındaki bilinen bir açığı da yeniden tespit etti. Şirket, bulunan hataların tamamını “kritik” olarak sınıflandırmıyor.

KANITIN SINIRI

Matematiksel doğrulama, kütüphanelerin bütünüyle hatasız olduğu anlamına gelmiyor. Kanıtlar, Linux üzerinde çalışan, tek iş parçacıklı ve statik olarak bağlanmış RISC-V programlarının belirli test giriş noktalarını kapsıyor. Yaygın kullanılan x86 ve ARM sistemleri, kütüphanelerin diğer işlevleri ve tanımlanan koşulların dışındaki hatalar bu sonucun kapsamında değil.