OpenAI'dan eski kodlara yapay zeka dokunuşu: COBOL dönüşümünde yüzde 97,9 başarı

OpenAI, bankacılıktan kamu altyapısına kadar birçok alanda kullanılan eski yazılımların modernizasyonuna yönelik değerlendirme sonuçlarını paylaştı. Şirketin COBOL dönüşümü için hazırladığı testte GPT-6.1 Sol, yüksek mantık yürütme ayarında yüzde 97,9 doğruluk elde etti. 

Bulgular, geliştirici bulmanın giderek zorlaştığı eski programlama dillerinde yazılmış sistemlerin taşınmasında yapay zekanın kullanımına ilişkin yeni veriler sundu. Ancak test başarısının, kritik altyapılarda doğrudan kullanıma hazır bir çözüm anlamına gelmediğine dikkat çekildi.

ESKİ SİSTEMLERİN AĞIRLIĞI 

Python ve JavaScript gibi yaygın dillere kıyasla COBOL ve Fortran için eğitim materyali ve dokümantasyon daha sınırlı. Buna rağmen bu diller, kritik sistemlerdeki yerini korudu. IBM verilerine göre COBOL, küresel çevrimiçi bankacılık operasyonlarının yüzde 40’ından fazlasında, yüz yüze gerçekleştirilen kredi kartı işlemlerinin yüzde 80’inde ve ATM işlemlerinin yüzde 95’inde kullanılıyor.

 Fortran ise hava tahminlerinden nükleer reaktör güvenlik simülasyonlarına kadar bilimsel hesaplamalarda görev alıyor. Temel iş kuralları ve hesaplama algoritmalarının yalnızca eski kodların içinde bulunması, modernizasyonu güçleştiren başlıca sorunlar arasında yer aldı.

Bankalar ve büyük finans kuruluşları, dönüşüm sırasında bu kuralların kaybolmasından veya sistem davranışının değişmesinden kaynaklanabilecek operasyonel risklerle karşılaştı.

COBOL GEÇİŞ TESTİ 

OpenAI’nin değerlendirmesi, COBOL programlarının iş mantığı ve davranışı korunarak C++, Java, Kotlin, Python veya Rust’a dönüştürülmesini ölçtü. GPT-6.1 Sol, düşük mantık yürütme ayarında yüzde 86,6 doğruluk elde ederek GPT-5.6 Sol’un yüzde 5,4’lük sonucunu geride bıraktı.

Aynı karşılaştırmada API maliyetlerinde yüzde 39 tasarruf sağlandığı bildirildi. Yüksek mantık yürütme ayarında ise doğruluk yüzde 97,9’a çıktı. Dönüştürülen programlar, orijinal yazılımların çıktılarıyla karşılaştırılan gizli testlerin neredeyse tamamını geçti.

20 DİLDE KARŞILAŞTIRMA 

Şirket, modellerini 20 programlama dilinde SQLite uyumlu bir veritabanı motoru geliştirme becerisini ölçen MultiLangBench testinde de değerlendirdi. GPT-6 Astra, ortalama yüzde 87,4 başarıyla GPT-5.6 Sol’un yüzde 26,8’lik sonucunun üç katını aştı. Karşılaştırmada Fortran başarısı yüzde 21,4’ten yüzde 83,5’e, Visual Basic başarısı yüzde 27,5’ten yüzde 89,4’e yükseldi.

Karmaşık yapısıyla öne çıkan COBOL’da ise oran yüzde 10,9’dan yüzde 72,1’e çıktı. GPT-6 Luna, ortalama yüzde 40,3 başarı elde etti. Modelin örnek başına maliyeti 0,77 dolar olurken, GPT-5.6 Sol’da bu tutar 3,48 dolardı. Böylece Luna için yüzde 78’lik maliyet avantajı hesaplandı.

ÜRETİM ÖNCESİ DOĞRULAMA 

OpenAI, yüksek skorların kontrollü test ortamlarını yansıttığını ve gerçek üretim sistemlerinde mutlak hatasızlık anlamına gelmediğini belirtti. COBOL’un, aksi açıkça belirtilmediğinde fazla ondalık basamakları atması gibi çalışma özellikleri, modern dile çevrilen kodda korunmazsa finansal hesaplamalar sapabiliyor.

Bu nedenle yalnızca kodun derlenmesi veya genel testleri geçmesi yeterli görülmüyor. Uzmanlar, dönüştürülen yazılımların canlı sistemlere alınmadan önce gerçek iş yükleriyle sınanması ve belgelenmemiş eski bağımlılıklar karşısındaki davranışının ayrıntılı biçimde doğrulanması gerektiğini vurguluyor.