Yapay Zekânın Kafasını Okumak: Sandığımızdan mı Kolay?

Diyelim ki elinizde milyonlarca parçadan oluşan dev bir makine var ve bu makinenin her bir parçasının ne işe yaradığını anlamaya çalışıyorsunuz. İşte "mekanistik yorumlanabilirlik" dediğimiz araştırma alanı tam olarak bunu yapıyor: büyük yapay zeka modellerinin içindeki milyonlarca yapay nöronun ne anlama geldiğini çözmeye çalışıyor. Şimdiye kadar bu iş, karmakarışık bir yün yumağını çözmeye benziyordu. Ama yorumlanabilirlik laboratuvarı Goodfire'dan araştırmacı Nick Cammarata, yayımladığı uzun bir denemede tam tersini söylüyor: yumak göründüğü kadar dolaşık değilmiş.

Bu iddia neden önemli? Çünkü bir yapay zeka modelinin "ne düşündüğünü" gerçekten okuyabilirseniz, o modelin size yalan söyleyip söylemediğini ya da tehlikeli bir davranışa yöneldiğini çıktısını beklemeden, doğrudan beyninin içinden görebilirsiniz. Bugün elimizdeki yöntemler büyük ölçüde modelin "düşünce zincirini" izlemekten ibaret ve bu yöntem giderek daha güvenilmez hale geliyor. Cammarata'nın tezi doğruysa, yapay zeka güvenliği araştırmalarında gerçek bir sıçrama anlamına gelebilir.

Peki bu kafa karışıklığı nereden geliyordu? Araştırmacılar yıllardır "süperpozisyon" adı verilen bir teoriye inanıyordu. Bunu şöyle düşünün: bir modelin elinde temsil etmesi gereken kavram sayısı kadar nöron yok. Dolayısıyla model, birbiriyle alakasız birkaç kavramı aynı nörona sıkıştırıyor — tıpkı az sayıda çekmeceniz varken farklı eşyaları aynı çekmeceye tıkıştırmanız gibi. Bunun en ünlü örneği, görüntü tanıma modeli InceptionV1'deki bir nörondu: hem kedi yüzlerine hem de araba önlerine tepki veriyordu. Cammarata, yıllar önce bu örneği kendi araştırmasında süperpozisyonun kanıtı olarak kullanmıştı.

Aynı Kanıt, Farklı Okuma

Şimdi Cammarata bu yorumun yanlış olduğunu söylüyor. Ona göre o nöron kedi ile arabayı değil, sivri bir şekli algılıyor: tilki burnu ya da alev gibi sivri uçlu şeyler nöronu tetiklerken, harf O gibi yuvarlak şekiller aktivasyonu tam tersine çeviriyor. Yani ortada iki alakasız kavram yok, tek bir ortak özelliği yakalayan bir dedektör var. Cammarata, kendisinin de ortaya koymaya yardım ettiği