llms.txt, robots.txt ve Schema: AI Görünürlüğünde Hangisi Ne İşe Yarar?

robots.txt, llms.txt ve schema aynı sorunu çözmez:

• robots.txt, belirli crawler’ların hangi URL’leri isteyebileceğine ilişkin erişim talimatı verir.
• llms.txt, agent ve dil modellerine bir sitenin önemli bilgi kaynaklarını daha düzenli sunmayı amaçlayan, gelişmekte olan bir Markdown önerisidir.
• Schema/yapılandırılmış veri, görünür sayfa içeriğindeki kişi, kurum, ürün, makale veya başka varlıkları makine tarafından okunabilir özelliklerle tanımlar.

Bu mekanizmalardan hiçbiri tek başına indeksleme, sıralama, AI yanıtında anılma veya kaynak gösterilme garantisi vermez. Doğru araç, önce çözmek istediğiniz teknik soruna ve hedef platformun resmî desteğine göre seçilmelidir.

Önce süreci ayırın: tarama, indeksleme ve kaynak gösterilme aynı şey değildir

Teknik GEO tartışmalarındaki birçok hata, farklı aşamaların tek olay gibi görülmesinden kaynaklanır.

1. Keşif: Sistem URL’nin varlığını öğrenir.
2. Erişim/tarama: Crawler URL’yi isteyebilir ve yanıt alır.
3. İşleme: HTML, metin, bağlantı ve desteklenen işaretlemeler yorumlanır.
4. İndeksleme veya veri hazırlığı: Platform kendi politikasına göre içeriği saklayabilir veya arama için uygun hâle getirebilir.
5. Getirme/grounding: Bir kullanıcı sorusunda ilgili kaynaklar aranır.
6. Yanıt ve atıf: Sistem içeriği kullanabilir, markayı anabilir veya görünür kaynak bağlantısı gösterebilir.
7. Ziyaret ve dönüşüm: Kullanıcı bağlantıyı izleyip sitede önemli bir işlem yapabilir.

robots.txt çoğunlukla ikinci aşamadaki erişimle ilgilidir. Schema üçüncü aşamada görünen bilgiyi daha açık tanımlayabilir. llms.txt ise destekleyen agent’lara bir içerik haritası ve yönlendirme sağlamayı hedefler. Sonraki aşamalar platformun sistemlerine, içeriğin alakasına, kalite değerlendirmesine ve kullanıcı sorgusuna bağlıdır.

robots.txt ne işe yarar?

robots.txt, alan adının kökünde yayımlanan ve user-agent bazında tarama kuralları bildiren metin dosyasıdır. Örneğin belirli bir botun bir dizini taramasına izin verilebilir veya izin verilmeyebilir.

Google’ın robots.txt rehberi, dosyanın temel amacını crawler erişimini ve tarama trafiğini yönetmek olarak açıklar. Aynı rehber, robots.txt’nin bir sayfayı Google sonuçlarından gizleme yöntemi olarak kullanılmaması gerektiğini belirtir. Google, başka yerlerden bağlantı verilen engellenmiş bir URL’yi içeriğini taramadan sonuçlarda gösterebilir.

robots.txt için doğru kullanım örnekleri

• Önemsiz veya tekrarlı URL alanlarında tarama yükünü yönetmek
• Belirli crawler’ın erişim politikasını tanımlamak
• Arama amaçlı bot ile model geliştirme/eğitim botunu ayrı değerlendirmek
• Sitemap konumunu destekleyen botlara bildirmek

robots.txt ne yapmaz?

• Kimlik doğrulama veya güvenlik sağlamaz
• Gizli içeriği korumaz; dosya ve kurallar herkese açıktır
• İndekslemeyi her durumda engellemez
• Botun kurallara uyacağını garanti etmez
• Bir sayfanın AI yanıtında kullanılmasını veya kaynak gösterilmesini garanti etmez

Hassas içerik robots.txt ile korunmamalıdır. Erişim yetkilendirme, parola, ağ kuralı veya uygun başka güvenlik mekanizmasıyla sınırlandırılmalıdır.

Her AI botu aynı değildir

“AI botlarına izin ver” ifadesi uygulanabilir bir politika değildir. Arama, eğitim ve kullanıcı tarafından tetiklenen erişimler farklı user-agent’lar kullanabilir.

OpenAI’ın resmî crawler dokümanı şu ayrımı yapar:

• OAI-SearchBot: ChatGPT arama özelliklerinde sitelerin sonuçlarda gösterilmesiyle ilgili arama crawler’ı
• GPTBot: Üretken AI temel modellerini geliştirmek/eğitmek için kullanılabilecek içeriğin taranmasıyla ilgili bot
• ChatGPT-User: Kullanıcı eylemiyle belirli bir web sayfasını ziyaret edebilen user-agent; otomatik web taraması için kullanılmaz

OpenAI, OAI-SearchBot ve GPTBot tercihlerinin birbirinden bağımsız yönetilebildiğini belirtir. Bu nedenle şirket şu soruları ayrı cevaplamalıdır:

1. ChatGPT arama sonuçlarında görünür olmayı hedefliyor muyuz?
2. İçeriğin model geliştirme/eğitim amacıyla taranmasına ilişkin politikamız nedir?
3. Kullanıcı tarafından tetiklenen ziyaretlere teknik ve güvenlik yaklaşımımız nedir?
4. CDN veya WAF resmî botu user-agent dışında IP doğrulamasıyla kontrol ediyor mu?

Botu robots.txt’de izinli göstermek yeterli olmayabilir; güvenlik katmanı isteği engelliyorsa log ve resmî IP aralığıyla doğrulama gerekir. Tersine, user-agent metni kolayca taklit edilebildiği için yalnız bu değere güvenerek özel erişim verilmemelidir.

robots meta ve X-Robots-Tag ne işe yarar?

robots.txt URL’nin taranıp taranamayacağını bildirirken robots meta etiketi veya X-Robots-Tag, destekleyen arama motorlarına sayfanın indekslenmesi ve sonuçlarda sunulması hakkında daha ayrıntılı yönerge verebilir.

Örnekler:

• noindex: Sayfanın arama indeksinde gösterilmemesi talimatı
• nosnippet: Sonuçta metin snippet’i gösterimini sınırlandırma
• max-snippet: Gösterilebilecek metin uzunluğunu sınırlandırma
• noimageindex: Sayfadaki görsellerin indekslenmesine ilişkin kontrol

Google’ın robots meta dokümanı, HTML sayfaları için meta etiketini; PDF gibi HTML olmayan kaynaklar için HTTP yanıtındaki X-Robots-Tag kullanımını açıklar.

Buradaki kritik sıra şudur: Crawler sayfayı robots.txt nedeniyle hiç tarayamıyorsa sayfanın içindeki noindex yönergesini okuyamayabilir. Bu yüzden “hem robots.txt ile engelleyip hem noindex eklemek” beklenen sonucu üretmeyebilir.

Platformların desteklediği meta yönergeler ve bunların AI kullanımına etkisi aynı olmayabilir. Her hedef platformun güncel resmî dokümanı ayrı incelenmelidir.

llms.txt nedir?

llms.txt, agent’ların bir web sitesindeki önemli ve tercihen temiz/Markdown biçimindeki kaynakları daha kolay bulmasına yardımcı olmayı amaçlayan bir öneridir. Dosya, site kökünde veya belirli bir yol altında yayımlanabilir; kısa açıklama ve önemli kaynak bağlantıları içerebilir.

llms.txt önerisinin güncel v2 açıklaması, dosyayı agent’ların site bilgisini kullanmasına yardımcı olmak için standartlaştırılması önerilen Markdown yapısı olarak tanımlar. Öneri; dosyanın site/proje adı, kısa açıklama ve gruplandırılmış kaynak bağlantıları taşıyabilmesini öngörür.

Bu kullanım özellikle kapsamlı teknik dokümantasyonlarda anlamlı olabilir: Agent, bütün siteyi taramak yerine API rehberi, başlangıç dokümanı, politika ve referans sayfaları için küratörlü bir giriş noktası bulabilir.

llms.txt hakkında hangi iddialar güvenlidir?

• Gelişmekte olan ve topluluk tarafından kullanılan bir öneridir.
• Bazı dokümantasyon platformları ve geliştirici siteleri dosyayı yayımlar.
• İnsan ve makine tarafından okunabilen küratörlü bir kaynak haritası olabilir.
• robots.txt, sitemap veya yapılandırılmış verinin doğrudan yerine geçmez.
• Destek ve kullanım platforma göre doğrulanmalıdır.

OpenAI geliştirici dokümanları da sayfanın üst kısmında tam dokümantasyon dizini için bir llms.txt bağlantısı sunuyor. Bu, dosyanın dokümantasyon/agent kullanımında gerçek bir örneğidir; ChatGPT Search’te web sitelerinin sıralanması için zorunlu olduğu anlamına gelmez.

llms.txt neyi garanti etmez?

• Bütün AI crawler’larının dosyayı okuyacağını
• Dosyadaki sayfaların indeksleneceğini
• Markanın yanıtlarda anılacağını
• Bağlantıların kaynak olarak gösterileceğini
• Trafik, sıralama veya dönüşüm artışını

Google’ın 2026 üretken AI optimizasyon rehberi, Google Search’ün llms.txt dosyalarını kullanmadığını açıkça belirtiyor. Google’a göre dosyanın bulunması, taranması veya indekslenebilmesi ona özel görünürlük işlevi kazandırmıyor; Google Search açısından dosya sıralamaya yardım etmiyor veya zarar vermiyor.

Dolayısıyla yalnız Google görünürlüğü için llms.txt üretmek öncelikli teknik iş değildir. Başka bir agent veya dokümantasyon sistemi resmen destekliyorsa ve dosyanın bakım sorumluluğu belirlenebiliyorsa koşullu olarak değerlendirilebilir.

llms.txt oluşturulacaksa nasıl yönetilmeli?

Dosya yayınlanmadan önce şu kontroller yapılmalıdır:

1. Kullanım amacı: Hangi agent veya kullanıcı görevine yardımcı olacak?
2. Destek kanıtı: Hedef sistem dosyayı resmen destekliyor mu?
3. Kaynak seçimi: Yalnız güncel, kanonik ve gerçekten önemli sayfalar mı listeleniyor?
4. İçerik uyumu: Dosyadaki açıklamalar görünür sayfalardaki bilgilerle aynı mı?
5. Dil yapısı: Çok dilli içerikler doğru locale bağlantılarıyla ayrılmış mı?
6. Gizlilik: Kamuya açık olmaması gereken yol veya doküman listelenmiş mi?
7. Bakım: Sayfa taşındığında veya kapsam değiştiğinde kim güncelleyecek?
8. Doğrulama: Dosya HTTP 200 veriyor, doğru içerik türüyle okunuyor ve bağlantıları çalışıyor mu?

Eski veya hatalı bir llms.txt, agent’a güncel olmayan bir içerik haritası sunabilir. Otomatik üretim kullanılsa bile bağlantı ve açıklama eşleşmesi insan tarafından doğrulanmalıdır.

Schema ve yapılandırılmış veri ne işe yarar?

Schema.org sözlüğü kullanılarak JSON-LD, Microdata veya RDFa biçiminde yayımlanan yapılandırılmış veri; sayfadaki varlık ve özellikleri makine tarafından okunabilir biçimde tanımlar. Örneğin bir makale için başlık, yazar, yayıncı ve tarih; bir işletme için kurum adı ve iletişim gibi özellikler belirtilebilir.

Yapılandırılmış verinin temel kuralı, görünür sayfada bulunan doğru bilgiyi tanımlamasıdır. Sayfada bulunmayan hizmet, yorum, fiyat, yazar veya sonuç işaretlemeye eklenmemelidir.

Google’ın AI özellikleri dokümanı, AI Overviews ve AI Mode için özel bir schema.org işaretlemesi gerekmediğini belirtir. Mevcut yapılandırılmış veri uygulamaları genel Search özellikleri için kullanılmaya devam edebilir; ancak görünür metinle eşleşmelidir.

Schema ne yapabilir?

• Destekleyen sistemlere sayfadaki varlıkları ve ilişkileri açık biçimde tanıtabilir
• Uygun içerik türlerinde desteklenen arama sonucu özellikleri için teknik uygunluğa katkı sağlayabilir
• Yazar, yayıncı, tarih ve içerik türü gibi bilgileri tutarlı sunabilir
• Kurum, ürün veya makale verisinin makine tarafından ayrıştırılmasını kolaylaştırabilir

Schema ne yapmaz?

• Görünür sayfada olmayan içeriğin yerini tutmaz
• İçerik kalitesini veya birinci taraf kanıtı oluşturmaz
• Özel bir “GEO schema” ile AI görünürlüğü garantilemez
• Yanlış kurum ve hizmet bilgisini güvenilir hâle getirmez
• Desteklenen özellikte gösterim garantisi vermez

İşaretleme sözdizimsel olarak geçerli olsa bile içerik açısından yanlış olabilir. Teknik doğrulama ile editoryal doğruluk ayrı kontrollerdir.

Sitemap ve canonical bu tabloda nereye oturur?

XML sitemap

Sitemap, arama motorlarına önemli, yeni veya güncellenmiş URL’ler hakkında keşif sinyali verir. robots.txt erişim politikasının, llms.txt agent yönlendirmesinin veya schema içerik tanımının alternatifi değildir.

Google’ın tarama ve indeksleme SSS’si, sitemap’in Google’ın siteyi öğrenmesine yardımcı olabileceğini; indeksleme veya sıralama garantisi vermediğini belirtir.

Canonical

Canonical işareti, benzer veya yinelenen URL’ler arasında tercih edilen sürüm hakkında arama motoruna sinyal verir. Tarama engeli veya yönlendirme değildir; AI bot izin politikasını da yönetmez.

Çok dilli sayfalarda canonical, hreflang ve görünen dil kontrolü ayrıca doğrulanmalıdır. Türkçe sayfayı İngilizce sayfaya canonical yapmak gibi hatalar, yerelleştirilmiş sayfanın bağımsız uygunluğunu zayıflatabilir.

Teknik GEO karşılaştırma tablosu

Hangi durumda hangisini kullanmalısınız?

“Belirli bot bu alanı taramasın” diyorsanız

Önce botun resmî user-agent ve IP doğrulama yöntemini kontrol edin. Destekliyorsa robots.txt ve güvenlik katmanı politikasını birlikte yönetin. Hassas içerik için kimlik doğrulama kullanın.

“Bu sayfa indekslenmesin” diyorsanız

Hedef arama motorunun desteklediği noindex meta veya X-Robots-Tag yöntemini kullanın ve crawler’ın yönergeyi okuyabildiğini doğrulayın. Yalnız robots.txt engeline güvenmeyin.

“Agent önemli dokümanları daha kolay bulsun” diyorsanız

Hedef agent llms.txt veya Markdown alternatiflerini destekliyorsa küratörlü dosya değerlendirin. Destek kanıtı yoksa önce kanonik HTML, iç linkler, sitemap ve içerik yapısını düzeltin.

“Sayfadaki kurum, yazar veya ürün bilgisini açık tanımlayayım” diyorsanız

Uygun Schema.org türünü ve hedef platform yönergelerini kullanın. Yapılandırılmış veriyi görünür içerikle birebir eşleştirin ve doğrulama aracında test edin.

“Yeni URL’leri arama motoruna bildireyim” diyorsanız

Temiz XML sitemap, doğru iç linkler ve çalışır HTTP yanıtları kullanın. Sitemap’in indeksleme garantisi olmadığını unutmayın.

Uygulama öncesi ve sonrası kontrol listesi

1. Çözmek istediğiniz sorun tek cümlede tanımlandı mı?
2. Hedef platform ve user-agent resmî dokümandan doğrulandı mı?
3. Tarama, indeksleme, eğitim kullanımı ve arama görünürlüğü ayrı kararlar mı?
4. Değişiklik test ortamı veya sınırlı kapsamda kontrol edildi mi?
5. Kritik URL’lerin yanlışlıkla engellenmediği doğrulandı mı?
6. Meta/header yönergeleri crawler tarafından okunabiliyor mu?
7. Schema görünür sayfayla aynı bilgiyi mi veriyor?
8. llms.txt kullanılıyorsa hedef sistem desteği ve bakım sahibi belli mi?
9. Sitemap yalnız kanonik, çalışır ve indekslenmesi amaçlanan URL’leri mi içeriyor?
10. Değişiklik tarihi, sorumlusu ve geri alma yöntemi kaydedildi mi?
11. Sunucu/CDN logları beklenen crawler davranışını gösteriyor mu?
12. Hiçbir teknik değişiklik görünürlük veya atıf garantisi olarak sunulmuyor mu?

Sık yapılan hatalar

llms.txt dosyasını robots.txt yerine kullanmak

llms.txt erişim engelleme standardı değildir. Bot politikasını hedef platformun desteklediği robots ve güvenlik kontrolleriyle yönetin.

Bütün AI botlarını tek kuralla açmak veya kapatmak

Arama, eğitim ve kullanıcı ziyaretleri farklı amaçlara sahip olabilir. İş ve veri politikası her amaç için ayrı belirlenmelidir.

robots.txt ile gizlilik sağlamaya çalışmak

Dosya herkese açıktır ve kötü niyetli crawler’ın kurala uyacağı garanti değildir. Gizli içerik yetkilendirme ile korunmalıdır.

Görünmeyen bilgiyi schema içine eklemek

İşaretleme, sayfadaki doğru ve görünür içeriği tanımlamalıdır. Kullanıcının göremediği pazarlama iddiaları eklemek yanıltıcıdır.

Teknik dosyayı yayınlayıp bakım sahibini atamamak

Eski bağlantılar, yanlış hizmet kapsamı ve taşınmış sayfalar agent veya crawler’a hatalı harita sunar. Her dosyanın gözden geçirme tarihi olmalıdır.

Sonuç

robots.txt, llms.txt ve schema rakip teknikler değildir. Her biri farklı bir soruya cevap verir:

• Crawler hangi URL’leri isteyebilir? → robots.txt
• Sayfa indekslenme ve sunum açısından nasıl ele alınmalı? → robots meta / X-Robots-Tag
• Destekleyen agent önemli kaynakları nerede bulabilir? → koşullu olarak llms.txt
• Görünür sayfadaki varlıklar nasıl yapılandırılmış biçimde tanımlanır? → Schema/JSON-LD
• Arama motoru yeni ve önemli URL’leri nasıl keşfedebilir? → XML sitemap ve iç linkler

En güvenli teknik GEO yaklaşımı, önce amacı ve hedef platformu belirlemek, resmî desteği doğrulamak, değişikliği sınırlı kapsamda test etmek ve sonucu log/araç verisiyle kontrol etmektir. Tek bir dosya veya işaretleme AI görünürlüğünü garanti etmez.

Bu kontrolleri temel SEO teknikleri rehberiyle ilişkilendirebilir; dosya, sunucu ve düzenli kontrol sorumluluklarını web sitesi bakımı ve SEO kapsamı rehberiyle ayırabilirsiniz.