Robots.txt'e Tek Tık: Dev Yapay Zeka Şirketleri Ortak Kazıma Freni Kuruyor

OpenAI, Google, Microsoft ve Anthropic nihayet aynı masaya oturdu — ama bu kez bir model yarışı için değil. Dört dev, yayıncıların içeriklerini yapay zeka eğitiminden tek bir sinyalle tamamen çekebileceği ortak bir standardı desteklediklerini açıkladı. Kulağa hoş geliyor: artık her siteye ayrı ayrı 'beni kazıma' demek yerine, tek bir dosyaya tek bir satır yazmak yetecek. Ama 'destekliyoruz' demekle 'uyacağız' demek her zaman aynı şey değil — ve bu haberin asıl ilginç tarafı tam da burada gizli.

Önerilen sistem, Anthropic'te standartlardan sorumlu teknik lider Kevin Kelley tarafından İnternet Mühendisliği Görev Gücü'ne (IETF) sunulmuş. Mantık basit: web sitelerinin crawler'lara (web'i tarayan otomatik botlara) hangi içeriği kazıyabileceğini söylediği eski bir dosya olan robots.txt'in içine, 'policy token' adı verilen paylaşılan bir sinyal ekleniyor. Bu token'ı gören her AI şirketi, o siteyi eğitim verisi olarak kullanmaktan vazgeçecek — en azından teoride.

Şu ana kadar yayıncılar, OpenAI'ye ayrı, Google'a ayrı, Microsoft'a ayrı tercih bildirmek zorundaydı. Bu da küçük bir yayıncı için pratikte imkansıza yakın bir yük demekti. Ortak sinyal gerçekten hayata geçerse, bu yük tek bir dosyaya iniyor.

Kim Ne Söyledi, Kim Sessiz Kaldı?

Anthropic sinyali zaten benimsemiş durumda. Google ve Microsoft ise desteği 'gelecek yıl' hayata geçireceklerini söylüyor — yani şu an için bu bir niyet beyanı, bir uygulama değil. OpenAI ise 'önümüzdeki aylarda' gibi daha da muğlak bir takvim veriyor. Microsoft, biraz daha detaya iniyor: yayıncılara AI eğitimi ile AI 'grounding' (bir modelin halüsinasyon yapmaması için doğrulanmış kaynaklara yönlendirilmesi süreci) arasında ayrı ayrı tercih yapma imkânı sunacağını söylüyor. Ama şu notu da düşmeyi ihmal etmiyor: tercihiniz ne olursa olsun, siteniz Bing arama sonuçlarında görünmeye devam edecek. Yani 'opt-out' dediğin şey, görünürlüğünü feda etmeden eğitim verisinden çıkmak anlamına geliyor — bu da aslında yayıncılar için cazip bir denge, ama AI şirketleri için de veri akışının tamamen kesilmeyeceğinin garantisi.

Meta'nın iletişim başkanı Andy Stone da desteğini açıkladı, ama kritik bir ayrıntıyı atlamayı tercih etti: şirketin bu sinyale gerçekten uyup uymayacağını söylemedi. 'Ortak bir sinyal yaratmanın önemli bir adım olduğuna inanıyoruz' gibi cümleler, bağlayıcılık içermeyen diplomatik ifadeler. Peki Meta bu standardı destekliyor da neden uygulama taahhüdü vermiyor? Bu soru, haberin içinde cevapsız kalan en can alıcı nokta.

Bu Ne Anlama Geliyor?

Bu hamle, yayıncıların aylardır yükselttiği şikâyetlerin bir sonucu. Cloudflare'in AI kazıyıcılarını varsayılan olarak engellemesi, Really Simple Licensing (RSL) standardının siteleri crawler'lardan ücret almaya teşvik etmesi gibi girişimler zaten sahnedeydi. Bu yeni 'policy token' önerisi, o dağınık çabaları tek bir teknik standarda bağlama girişimi — ama şunu unutmamak lazım: IETF'in bir öneriyi standartlaştırması yıllar alabilir, ve bir şirketin bir standardı 'desteklemesi', onu gerçek sunucu kodunda uygulaması demek değil. Google ve Microsoft'un 'gelecek yıl' demesi, bu arada sitelerin aylarca korumasız kalmaya devam edeceği anlamına geliyor.

Ayrıca şirketlerin kendi kendilerini denetlediği bir sistemden bahsediyoruz. Token'a uymayan bir crawler'ı kim tespit edecek, kim cezalandıracak? Şu an için cevap yok. Daha önce ele aldığımız Wikipedia Vakfı'nın açık web için mahkemeye başvurması da benzer bir güvensizlikten doğmuştu — gönüllü standartların yeterli olmadığı, hukuki yaptırımın gerektiği yönünde. Bu yeni token da aynı akıbete uğrarsa şaşırmamak lazım.

Türkiye'ye Etkisi

Türk yayıncılar ve haber siteleri için bu, teorik olarak iyi haber: tek bir robots.txt satırıyla hem OpenAI'ye hem Google'a hem Microsoft'a 'içeriğimi eğitimde kullanma' diyebilecekler — şu an her birine ayrı ayrı uğraşmak zorundalar. Ama uygulamanın 2027'ye kadar sürüneceğini düşünürsek, yerel medya kuruluşlarının bu süreçte içerik kazınmaya devam edeceğini öngörmek zor değil. Açık web'in kapanma eğilimi zaten Reddit'in giriş zorunluluğu getirmesiyle somutlaşmıştı; bu token önerisi de aynı trendin bir parçası — yayıncılar, kazınmaya karşı artık tek tek değil, kolektif bir dil arıyor.

IETF sürecinin teknik detaylarını ve Kevin Kelley'nin önerisinin tam metnini takip etmek isteyenler IETF'in resmi taslak sayfasından ilerleyebilir.