robots.txt Nedir ve Neden Önemlidir?
- Amaç: Arama motoru botlarına (Googlebot, Bingbot vb.) sitenizde hangi sayfaları tarayıp hangilerini taramaması gerektiğini bildirir.
- Yararları:
Gereksiz veya özel sayfaların (admin panelleri, /wp-admin/ vb.) taranmasının ve dizine eklenmesinin önüne geçer.
Tarama bütçenizi (“crawl budget”) kritik sayfalara odaklayarak SEO performansını iyileştirir.
robots.txt Oluşturma
Yeni bir metin dosyası oluşturun
Adı robots.txt olmalı (uzantı .txt).
Temel Yapıyı Ekleyin
User-agent: *
Disallow:
Sitemap: https://www.orneksite.com/sitemap.xml
- User-agent: * tüm botlara uygulanır.
- Disallow: değeri boş bırakılırsa tüm site taranır.
- Sitemap: ile site haritasının (XML) URL’si belirtilir.
Örnek İleri Düzey Ayarlar
# Tüm botlara genel kurallar
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
# Googlebot’a özel örnek
User-agent: Googlebot
Disallow: /ozel-icerik/
# Sitemap konumu
Sitemap: https://www.orneksite.com/sitemap.xml
robots.txt Dosyasını Sunucuya Yükleme
FTP/SFTP veya Hosting Dosya Yöneticisiyle Bağlanın
- Örneğin FileZilla, Cyberduck veya hosting kontrol paneliniz.
Ana Dizin (“Document Root”)
- Genellikle public_html/, www/ veya htdocs/ klasörü.
robots.txt Dosyasını Bu Klasöre Yükleyin
- Yükledikten sonra tarayıcıda https://www.orneksite.com/robots.txt adresine giderek erişilebilir olduğunu doğrulayın.
WordPress Sitelerde robots.txt
- Manuel Yöntem: Yukarıdaki adımları takip edip WordPress’in kurulu olduğu ana klasöre yükleyin.
- Eklenti Kullanarak:
Yoast SEO, Rank Math, All in One SEO gibi popüler SEO eklentileri üzerinden “Araçlar > Dosya düzenleyici” veya “Araçlar > Dosya düzenleyici > robots.txt” sayfasından düzenleyebilirsiniz.
Eklentinin sunduğu arayüzde direkt robot kurallarını girip kaydetmeniz yeterlidir.
robots.txt’inizi Test Etme
Tarayıcıdan Doğrudan Kontrol
- https://www.orneksite.com/robots.txt adresini ziyaret edin.
Google Search Console
- “Tarama > robots.txt Test Aracı” ile kurallarınızın bot tarafından nasıl algılandığını görebilirsiniz.
Üçüncü Parti Araçlar
- technicalseo.com gibi online test araçları.
İpuçları ve En İyi Uygulamalar
- Sitemap Kaydı: robots.txt içinde mutlaka doğru sitemap URL’si olsun.
- Büyük Harf Duyarlılığı: UNIX tabanlı sunucularda dosya isimleri büyük/küçük harf duyarlıdır; mutlaka küçük “robots.txt” kullanın.
- Hassas Bilgiler: gizli veya kişisel dosyalarınızı .htaccess vb. yöntemlerle korumak, sadece robots.txt ile sınırlamak yeterli değildir.
- Güncel Tutma: Site yapınız değiştikçe (yeni dizinler, eklentiler) robots.txt’i güncelleyin.
Eğer takıldığınız bir nokta olursa teknik SEO hizmeti için bize ulaşabilirsiniz.
