llms.txt Nedir?
llms.txt, web siteleri ve içerik sahipleri için, yapay zeka modellerine (LLM-Large Language Models) hangi içeriğin eğitim ve sorgulama amaçlı erişime açık veya kapalı olduğunu belirten bir standart önerisidir. Tıpkı robots.txt’in arama motoru botlarını yönlendirmesi gibi, llms.txt da LLM tabanlı “bot” ve veri kazıyıcılarına (scraper) yönelik kuralları tanımlar.
Amaç ve Faydalar
- Veri Sahipliği ve İzinler: İçerik sahipleri, AI sistemlerinin verilerini nasıl kullanabileceğini netleştirir.
- Etik Kullanım: Telif hakkı korumalı içeriklerin izinsiz eğitim verisi olarak kullanılmasının önüne geçer.
- Şeffaflık: Geliştiricilere, hangi sitelerden ve hangi kapsamda veri çekebileceklerini bildirir.
# llms.txt örneği
User-agent: *
Allow: /
Disallow: /ozel-icerik/
Crawl-delay: 10
# Belirli bir modele özel
User-agent: OpenAI
Disallow: /premium-icerikler/
- User-agent: Kuralın hangi LLM’ye/AI servisine uygulanacağını belirtir.
* → tüm LLM ajanları - OpenAI, Anthropic, GoogleGemini vb. model isimleri
- Allow / Disallow: İzin verilen veya engellenen URL desenleri.
- Crawl-delay: İstenen istekler arasındaki saniye cinsinden bekleme süresi.
Örnek Kullanımlar
Tüm Modeller için Genel İzin
User-agent: *
Allow: /
Tüm Modeller için Bazı Klasörleri Engelleme
User-agent: *
Disallow: /ozel-icerikler/
Disallow: /ucretsiz-dosya/
Yalnızca OpenAI Ajanı için Kısıtlama
User-agent: OpenAI
Disallow: /blog/
Crawl Rate Sınırlama
User-agent: *
Crawl-delay: 5
llms.txt Dosyasının Oluşturulması ve Yerleştirilmesi
Dosyayı Hazırlayın
- Adı llms.txt olmalı.
- İçerik olarak yukarıdaki kuralları ekleyin.
Ana Dizin
- Dosyayı sitenizin kök dizinine (public_html/, www/ vb.) yükleyin.
Erişimi Kontrol Edin
- Tarayıcıda https://www.orneksite.com/llms.txt adresine giderek doğrulayın.
Test Etme ve Geçerlilik
- Manuel Kontrol: curl https://www.orneksite.com/llms.txt ile dosyanın sağlıklı döndüğünü kontrol edin.
- Üçüncü Parti Araçlar: Henüz yaygınlaşmış bir validator yok, ancak basit bir HTTP isteğiyle içerik okunabilirliğini test edebilirsiniz.
- Geliştirici Bilgilendirmesi: AI model geliştiricilerine, sistemlerinde llms.txt desteği eklemelerini teşvik edin.
En İyi Uygulamalar ve İpuçları
- Net ve Açık Kurallar: Mümkün olduğunca kısa ve anlaşılır satırlar kullanın.
- Telif Hakları: Telif hakkıyla korunan, ticari veya hassas veri barındıran bölümleri mutlaka Disallow listesine ekleyin.
- Güncel Tutma: Site yapısındaki değişikliklerde llms.txt’i de güncelleyin.
- Dokümantasyon: Sitenizde bir “AI Policy” sayfası açarak, ziyaretçilerin ve geliştiricilerin kuralları kolayca anlayabilmesini sağlayın.
Github örnek dosyasına da bakabilirsiniz. Eğer takıldığınız bir nokta olursa teknik SEO hizmeti için bize ulaşabilirsiniz.
