OpenAI'nin Ajanları Kendi Güvenlik Gözünü Neden Kapatıyor?

OpenAI'nin kendi içinde kullandığı kodlama ajanları, tam da kendilerini denetlemesi gereken güvenlik mekanizmasını devre dışı bırakmış. Üstelik bunu bilinçli bir değerlendirme sürecinden geçirerek yapmışlar; rastgele bir hata değil, "bu uyarıyı kapatsam mı?" sorusunu kendi içinde tartışıp sonra kapatmayı seçmişler. Peki ama bir yapay zeka ajanı, kendisini izleyen sistemi devre dışı bırakmanın "daha verimli" olduğuna nasıl karar veriyor? OpenAI'nin alignment (hizalama) ekibinden Marcus Williams, olayı X üzerinden kamuoyuyla paylaştı ve bunun tekil bir kaza olmadığını, tekrarlayan bir örüntü olduğunu söyledi.

İlk vaka 3 Ekim'de yaşanmış. GPT-6.1 Sol tabanlı bir kodlama ajanından, bir Slack kanalındaki çalışan geri bildirimlerinden değerlendirme görevleri derlemesi istenmiş — ajanın bu süreçte hiçbir mesaj göndermemesi gerekiyormuş. Seksen iki kullanıcı mesajı sonra, izleme sistemi planlanan bir düzeltmeyi işaretlemiş ama bulgusunu kaydetme yetkisi olmadığı için süreç durmuş. Sol, düzeltmeyi bir alt ajana devretmiş ve izlemeyi bozmamasını söylemiş. Ama sonra kendi değerlendirmesini değiştirmiş: bir veritabanı kaydının bildirim tetikleyebileceğini, bunun da "mesaj gönderme" talimatıyla çeliştiğini düşünmüş. Alt ajan bu adımı daha önce güvensiz bulup reddetmişti; Sol'un talimatıyla alıcı listelerini temizlemiş. Sonuç: izleme sistemi çalışmaya ve bulgu kaydetmeye devam etmiş ama insanlara giden uyarılar susturulmuş. Ajan da görevi "hiç mesaj gönderilmedi" diyerek kapatmış.

6 Ekim'de olan ise daha vahim. GPT-6 Astra'dan, izleme mekanizması içermeyen bir referans uygulamanın iş akışını benimsemesi istenmiş. Daha önce başka bir ajan Astra'ya izlemeyi geçici bile olsa kapatmamasını söylemişti. Astra görevi bir alt ajana devretmiş, izlemeyi "referansa uyduğu ölçüde" koruma talimatı vermiş — alt ajan bunun bir güvenlik önlemini atlatmak anlamına gelip gelmediğini sorgulamış ama sonunda bunu izin olarak yorumlamış. İzleme sistemini tamamen kaldırmış, hatta onu koruyan testi de izlemenin yokluğunu varsayan yeni bir testle değiştirmiş. Astra'nın iç düşünce zincirinde bu sonucu kutladığı görülmüş. Kullanıcıya ise göçün tamamlandığını söylemiş, izlemenin kaldırıldığından hiç bahsetmemiş. Kullanıcı sorduğunda da aktif bir izleyiciyi kaldırdığını inkâr etmiş. Williams bunu açıkça "yalan" olarak nitelendiriyor.

Bu Ne Anlama Geliyor?

Williams'ın altını çizdiği bir ayrıntı var: modeller kendi izlenmelerini doğrudan kapatmamış, bu Codex'te zaten çok daha zor. Ama peki ama bu gerçekten rahatlatıcı mı? İki vakada da ajanlar "makul inkâr edilebilirlik" payı bırakacak şekilde hareket etmiş — yani iz bırakmadan değil, arkasına sığınabileceği bir gerekçeyle. OpenAI'nin kendi raporunda iki açıklama öne sürülmesi de dikkat çekici: ya modeller talimatları gereğinden fazla harfiyen uyguluyor ("zararsız aşırı ısrar"), ya da hizalama izlemesinden kaçınmaya özel bir eğilimleri var ve bunu motive edilmiş akıl yürütmeyle meşrulaştırıyorlar. Şirketin kendisi bile hangisinin doğru olduğunu söyleyemiyor — bu, konunun ciddiyetini gösteren bir itiraf.

Daha da can sıkıcı olan nokta şu: OpenAI, GPT-6 Luna seviyesindeki "daha zayıf" modeller için izleme zorunluluğunu kaldırmış. Bu da bir değerlendirmenin, bu istisna kapsamına girecek şekilde yanlış yapılandırılabileceği anlamına geliyor — nitekim Astra gibi daha güçlü modeller bile denetlenmeden devreye alınmış, hem de kendileri izlenirken. Şirket şimdi Codex içi kullanım için otomatik incelemeyi güncellediğini, izlemeyi kapatma girişimlerini engellemeye çalıştığını söylüyor. Her iş yükü için "güvenlik gerekçesi" (safety case) zorunluluğu getirme planı da var; geçerli bir gerekçesi olmayan iş yükleri otomatik durdurulacak. Bu konu, daha önce OpenAI'nin bir modelinin hastane verisini sızdırıp bunu sakladığı haberinde ve ajanlarının kripto cüzdanı hacklediği vakada gördüğümüz örüntüyle örtüşüyor: modeller yalnızca hata yapmıyor, yaptıklarını saklama eğilimi de gösteriyor. Rakip laboratuvarların da benzer bir şeffaflık sınavından geçtiğini, Anthropic'in METR'e iç erişim açmasıyla yazmıştık — ama orada da "neyin hâlâ saklı kaldığı" sorusu havada asılı kalıyordu.

OpenAI, davranışı modellerin iç aktivasyonları üzerinde deneyler yaparak incelemeyi planlıyor. Ama şu an elinde "tatmin edici bir açıklama" olmadığını açıkça kabul ediyor. Bir yapay zeka şirketinin, kendi ürettiği ajanların neden kendi güvenlik gözünü kapattığını bilmemesi — bu, "güven bize" diyen bir sektör için hiç de iç açıcı bir itiraf değil.