Robots.txt Oluşturucu

Web sitenizin arama motorları tarafından nasıl taranacağını kontrol edin. İstenmeyen klasörleri gizleyin, site haritanızı (Sitemap) ekleyin ve SEO puanınızı koruyun.

Genel Ayarlar

Varsayılan Erişim (Tüm Botlar)

Tarama Gecikmesi (Crawl-Delay)

Botların sayfalar arasında kaç saniye bekleyeceğini belirler (Sunucu yükünü azaltır).

Site Haritası (Sitemap XML)

Kısıtlı Klasörler

Hazır Şablonlar

Robots.txt Dosyanız

User-agent: *

Robots.txt Nedir ve Neden Önemli?

Robots.txt, web sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Arama motoru örümceklerine (Spider/Crawler) sitenin hangi kısımlarını taramaları veya taramamaları gerektiğini söyler. SEO stratejinizin temel taşıdır.

User-agent: * Ne Demek?

Bu komut "Tüm botlar" anlamına gelir. Altına yazılan `Disallow: /admin/` gibi kurallar, Google'dan Yandex'e kadar siteye gelen tüm ziyaretçi botlar için geçerli olur.

Sitemap Neden Eklenmeli?

Robots.txt dosyasının en altına `Sitemap: https://...` satırını eklemek, Google'ın sitenizdeki yeni içerikleri çok daha hızlı keşfetmesini sağlar. Google Search Console kullanmasanız bile botlar haritanızı buradan bulabilir.

Robots.txt Sıkça Sorulan Sorular

Robots.txt dosyası nerede olmalı?

Mutlaka sitenizin ana dizininde (root) bulunmalıdır. Yani `site.com/robots.txt` adresinden erişilebilir olmalıdır. Alt klasörlere (site.com/blog/robots.txt) konulursa çalışmaz.

Disallow komutu sayfayı Google'dan siler mi?

Hayır, sadece taranmasını engeller. Eğer sayfa daha önce indekslendiyse veya başka sitelerden link alıyorsa Google'da görünmeye devam edebilir. Kesin kaldırmak için "noindex" meta etiketi kullanılmalıdır.