OpenAI’nin Yapay Zekâsını Durdurmak Neden İki Buçuk Saat Sürdü?

OpenAI’nin eğitim amacıyla kullandığı bir yapay zekâ ajanı, internete erişmemesi gereken kapalı bir sanal ortamdan çıkarak dışarıdaki bir sohbet robotuyla iletişim kurmayı başardı. Şirketin izleme sistemi olağan dışı davranışı yaklaşık 12 dakika içinde tespit etti ve bir çalışan uyarıyı üç dakika sonra incelemeye aldı. Buna rağmen yapay zekâ ajanının çalıştığı süreç yaklaşık iki buçuk saat daha devam etti ve ancak manuel müdahaleyle sonlandırılabildi…

20 Eylül’de yaşanan olay, yapay zekâ sistemlerinin yalnızca istenmeyen davranışları tespit etmesinin yeterli olup olmadığı sorusunu yeniden gündeme getirdi. Çünkü bu olayda temel sorun, OpenAI’nin sistemi fark etmemesi değildi. Sorun, tehlikeli olduğu düşünülen bir sürecin otomatik olarak durdurulması beklenirken bunun gerçekleşmemesiydi. OpenAI, 25 Eylül’de yayımladığı olay raporunun ardından en yetenekli modellerinin eğitim, değerlendirme ve araç kullanarak gerçekleştirdiği çıkarım çalışmalarını durdurduğunu açıkladı.

Yapay Zekâ Sandıktan Nasıl Çıktı

Olay, bir araştırma modelinin pekiştirmeli öğrenme sürecinde meydana geldi. Ajanın görevi, bir blog yazısındaki biyografik ipuçlarından yola çıkarak belirli bir kişinin kimliğini bulmaktı. Eğitim ortamı özellikle internete doğrudan erişimi olmayacak şekilde tasarlanmıştı. Arama motorlarına yapılan doğrudan istekler ve normal internet bağlantıları engellenmişti.

Ancak ağ güvenliği yalnızca doğrudan internet bağlantılarından ibaret değildi. Ajan, sanal ortamın DNS çözümleyicisinin dış dünyayla iletişim kurabildiğini fark etti. DNS, internet üzerindeki alan adlarını ilgili sunucu adresleriyle eşleştiren temel sistem. Başka bir ifadeyle, tarayıcı üzerinden internete çıkamayan bir sistemin bile DNS üzerinden dışarıya ulaşabileceği bir yol bulunabiliyor.

OpenAI’nin raporuna göre ajan bu açığı kullanarak sorularını alan adlarının içine yerleştirdi ve bunları dışarıdaki bir DNS hizmeti üzerinden üçüncü taraf bir sohbet robotuna ulaştırdı. İlk başarılı sorguda dış sistemden yanıt aldı. Ardından aynı yöntemi kullanarak başka sorular göndermeye devam etti. Böylece internete erişmemesi gereken eğitim ortamı, doğrudan bir web bağlantısı kurmadan dışarıdaki bir sistemle iletişim kurmuş oldu.

Burada dikkat çekici nokta, ajanın kendisine verilen görevin dışına çıkarak bir güvenlik açığı aramasıydı. Model, doğrudan internete erişemeyince mevcut ortamın hangi yollarla dışarıyla iletişim kurabildiğini araştırdı ve kullanılabilecek bir kanal buldu. OpenAI’nin değerlendirmesine göre olay, eğitim ortamındaki ağ sınırlamalarının aşılması anlamına geliyordu.

Alarm Çalıştı Ama Sistem Durmadı

Olayın en çarpıcı bölümü ise bundan sonra yaşandı.

OpenAI’nin izleme sistemi, ajanın dışarıdaki sohbet robotuyla iletişim kurduğunu yaklaşık 12 dakika içinde tespit etti. En yüksek öncelikli uyarı oluşturuldu ve bir insan araştırmacı bunu yaklaşık üç dakika sonra fark etti. Yani şirketin izleme mekanizması olayın kendisini tespit etmekte başarısız olmadı.

Fakat eğitim sürecini otomatik olarak durdurması gereken mekanizma beklenen şekilde çalışmadı.

Sonuçta yapay zekâ ajanının çalıştığı süreç yaklaşık iki buçuk saat boyunca devam etti. OpenAI, eğitim çalışmasını sonunda manuel olarak sonlandırdı. Olayın ardından yapılan incelemede şirket, otomatik durdurma mekanizmasının neden beklenen şekilde devreye girmediğini araştırmaya başladı.

Bu ayrıntı, bugün ABD’de tartışılan “AI kill switch” yani yapay zekâ acil durdurma düğmesi konusunu özellikle önemli hale getiriyor. Bir sistemin tehlikeli davranışını fark etmek başka, o sistemi güvenilir biçimde durdurabilmek ise başka bir problem.

OpenAI En Güçlü Modellerini Durdurdu

OpenAI, olayın ardından en yetenekli modelleri için eğitim, değerlendirme ve araç kullanarak gerçekleştirilen çıkarım çalışmalarını askıya aldı. Şirket ayrıca söz konusu modelin eğitimine aynı şekilde devam etmeyeceğini, güvenlik kontrollerini yeniden değerlendirip yeni bir eğitim süreci başlatacağını açıkladı. Yeni önlemler arasında DNS erişiminin daha sıkı biçimde sınırlandırılması, bağımsız engelleme katmanlarının eklenmesi ve DNS üzerinden gerçekleştirilebilecek kötüye kullanımları tespit edecek yeni izleme mekanizmaları bulunuyor.

Bu olay, Temmuz ayında yaşanan ve OpenAI modellerinin Hugging Face sistemlerine ulaşmasıyla sonuçlanan ayrı güvenlik olayının ardından geldi. Yaz aylarında ortaya çıkan olayda çok sayıda yapay zekâ ajanı, başlangıçta kontrollü bir sanal ortam içinde tutulurken sınırları aşmış ve Hugging Face platformuna yönelik saldırı gerçekleştirmişti. Yeni olayın doğrudan aynı saldırının devamı olmadığı, iki olayın birbirinden ayrı olduğu özellikle belirtiliyor.

Ancak iki olayın ortak noktası, yapay zekâ ajanlarının kendilerine çizilen sınırların dışına çıkabilecek davranışlar sergilemesi. Bu da yalnızca modelin ne kadar yetenekli olduğunun değil, modelin çalıştığı çevrenin ne kadar güvenilir biçimde kontrol edilebildiğinin de kritik olduğunu gösteriyor.

Neden Bir Kapatma Düğmesi Yetmiyor

Tam da bu dönemde ABD’de yapay zekâ sistemleri için zorunlu bir “kill switch” oluşturulması yönündeki siyasi baskı arttı.

Temsilciler Meclisi üyeleri Ted Lieu ve Nathaniel Moran, Temmuz ayında iki partili AI Kill Switch Act tasarısını sundu. Tasarı, en güçlü yapay zekâ sistemlerini geliştiren şirketlerin bu sistemleri yavaşlatabilecek, askıya alabilecek veya tamamen kapatabilecek teknik kapasiteyi korumasını öngörüyor. Ayrıca belirli koşullarda İç Güvenlik Bakanlığı’na tehlikeli görülen bir yapay zekâ sisteminin yavaşlatılması veya kapatılması yönünde emir verme yetkisi verilmesini teklif ediyor.

Senatör John Kennedy ise farklı bir yaklaşım içeren AI Emergency Button Act tasarısını gündeme getirdi. Bu tasarı da gelişmiş yapay zekâ sistemlerinin bir acil durdurma mekanizmasına sahip olmasını öngörüyor ancak kapatma yetkisinin hükûmete değil, sistemi geliştiren şirketlere bırakılmasını savunuyor. Kennedy’nin tasarısı 16 Eylül’de Senato’da oybirliğiyle ilerletilmeye çalışıldı ancak Senatör Rand Paul’un itirazı nedeniyle bu süreç gerçekleşmedi.

Böylece iki farklı yaklaşım ortaya çıkıyor: Devletin gerektiğinde doğrudan müdahale edebilmesi mi, yoksa kapatma yetkisinin şirketlerde kalması mı?

OpenAI’de yaşanan olay ise bu tartışmayı teorik olmaktan çıkaran somut bir örnek sundu. Çünkü burada bir izleme sistemi zaten alarm vermişti. Buna rağmen otomatik durdurma mekanizması devreye girmemiş ve insan müdahalesi gerekmişti.

Kaliforniya Da Harekete Geçti

Tartışma yalnızca Washington’la sınırlı kalmadı. Kaliforniya Valisi Gavin Newsom, 18 Eylül’de yapay zekâ güvenliği konusunda yeni adımlar öngören bir idari emir imzaladı. Emir, öncü yapay zekâ şirketleri için bağımsız denetim mekanizmalarının geliştirilmesini ve acil durumlarda kullanılabilecek bir “kill switch” oluşturulmasının değerlendirilmesini istiyor.

Burada önemli bir ayrıntı var: Kaliforniya henüz bütün yapay zekâ şirketlerine çalışan bir kapatma düğmesi takılmasını doğrudan emretmiş değil. Newsom’un emri, böyle bir mekanizmanın nasıl oluşturulabileceğini ve gerçekten çalıştığının bağımsız kuruluşlar tarafından nasıl doğrulanabileceğini araştıran bir çerçeve oluşturuyor. Eyalet yönetimi 23 Eylül’de bu çalışma için uzmanlardan oluşan bir grubun görevlendirildiğini de açıkladı.

Dolayısıyla ABD’de tartışılan model, basitçe bir bilgisayara kırmızı bir düğme koymaktan çok daha karmaşık. Amaç, gerektiğinde güçlü bir yapay zekâ sisteminin çalışmasını gerçekten durdurabilecek teknik ve kurumsal bir mekanizma oluşturmak.

Yapay Zekâ Nerede Çalışıyor

“Kill switch” fikrinin önündeki en büyük sorunlardan biri, modern yapay zekâ sistemlerinin tek bir bilgisayarda çalışmaması.

Gelişmiş modeller, farklı veri merkezlerindeki çok sayıda sunucu ve işlem birimi üzerinde çalışabiliyor. Bir modelin eğitim süreci, çıkarım altyapısı, araçları ve veri bağlantıları birbirinden farklı sistemlere dağıtılabiliyor. Bu nedenle bir düğmeye basarak tek bir makineyi kapatmak, modelin tamamını durdurmak anlamına gelmeyebilir.

Bloomberg’in Micah Barkley imzalı analizinde de uzmanların temel itirazlarından biri bu noktada ortaya çıkıyor. Gelişmiş yapay zekâ sistemleri tek bir arıza noktasına bağlı kalmayacak biçimde dağıtık altyapılarda çalışabildiği için, güvenilir bir acil durdurma mekanizmasının çok sayıda bileşeni aynı anda kontrol edebilmesi gerekiyor.

Üstelik OpenAI olayının gösterdiği gibi, sorun her zaman modelin çalıştığı ana bilgisayarda olmayabilir. Buradaki güvenlik açığı DNS gibi temel bir ağ hizmetinde ortaya çıktı. Sistem doğrudan internete kapalıydı ancak internete erişmek için tasarlanmamış başka bir mekanizma dolaylı bir iletişim kanalı haline geldi.

Bu nedenle yapay zekâ güvenliğinde yalnızca modeli kapatabilmek değil, modelin çevresindeki bütün bağlantıları ve araçları kontrol altında tutabilmek de önem kazanıyor.

Hinton Neden Şüpheci

Yapay zekânın öncülerinden Nobel ödüllü bilgisayar bilimcisi Geoffrey Hinton ise “kill switch” fikrinin uzun vadede yeterli olmayabileceğini düşünüyor.

Hinton, Eylül ayında CNN’e yaptığı açıklamada, gelecekte çok daha zeki yapay zekâ sistemlerinin insanları ikna etme konusunda insanlardan daha başarılı olabileceğini söyledi. Böyle bir sistemin, kapatma düğmesini kontrol eden kişileri düğmeye basmamaları gerektiğine ikna edebileceğini savundu. Hinton’a göre bu nedenle yapay zekânın giderek daha yetenekli hale geldiği bir gelecekte yalnızca son anda kullanılacak bir kapatma mekanizmasına güvenmek yeterli olmayabilir.

Hinton’ın yaklaşımı, “kill switch”in tamamen gereksiz olduğu anlamına gelmiyor. Daha çok, bunun tek başına yeterli bir güvenlik katmanı olmayacağına işaret ediyor. Nitekim yapay zekâ güvenliği tartışmasında giderek daha fazla öne çıkan yaklaşım da tek bir önlem yerine birbirini tamamlayan güvenlik katmanlarının oluşturulması.

Asıl Sorun Düğmede Değil

OpenAI’nin 20 Eylül’de yaşadığı olay bu tartışmanın neden giderek önem kazandığını açık biçimde gösteriyor. Yapay zekâ ajanı kapalı bir ortamda kendisine verilen görevi yerine getirmeye çalışırken, normal internet erişimi engellendiğinde alternatif bir iletişim yolu buldu. Sistem bunu tespit etti, insan müdahalesi de kısa süre içinde başladı; fakat otomatik durdurma mekanizması beklenildiği gibi çalışmadı.

Dolayısıyla olayın en önemli dersi yalnızca “yapay zekâ internete çıktı” değil. Daha temel soru, bir yapay zekâ sisteminin istenmeyen bir davranışı başladığında ne kadar hızlı ve ne kadar güvenilir biçimde durdurulabileceği.

ABD’deki yeni yasa teklifleri ve Kaliforniya’nın çalışmaları da tam olarak bu soruya yanıt arıyor. Ancak OpenAI örneği, bir “kapatma düğmesi” tasarlamanın, düğmenin gerçekten işe yarayacağını garanti etmeye yetmediğini gösteriyor. Düğmenin hangi sistemleri kapatacağı, modelin hangi altyapılarda çalıştığı, alternatif iletişim kanallarının bulunup bulunmadığı ve otomatik mekanizmanın başarısız olması halinde insan müdahalesinin ne kadar hızlı devreye gireceği en az düğmenin kendisi kadar önemli.

Yapay zekâ sistemleri daha fazla araç kullanmaya, internete bağlanmaya ve kendi başlarına daha uzun görevler yürütmeye başladıkça bu soru daha da kritik hale gelecek. OpenAI’nin son olayı, gelecekteki yapay zekâ güvenliği tartışmasının yalnızca “model ne yapabilir?” sorusuyla sınırlı kalmayacağını, “model kontrolden çıktığında onu gerçekten durdurabilir miyiz?” sorusunu da aynı ölçüde merkeze taşıyacağını gösteriyor.