Site Haritası Nedir?
Site haritası (sitemap), sitenizin tüm önemli sayfalarını listeleyen bir XML dosyasıdır. Google bu dosyayı okuyarak hangi sayfaların var olduğunu, en son ne zaman güncellendiğini ve hangilerinin öncelikli olduğunu anlar. Dosyayı genellikle sitemap.xml adıyla yayınlarsınız ve adresi şöyle görünür: yourdomain.com/sitemap.xml
- Siteniz yeni açıldı ve henüz başka sitelerden link almıyor
- Çok sayıda sayfanız var (e-ticaret, blog, portföy gibi)
- Bazı sayfalarınıza sitenizin iç navigasyonundan ulaşmak güç
- Sık sık yeni içerik ekliyorsunuz ve Google'ın hızlı fark etmesini istiyorsunuz
robots.txt Nedir?
robots.txt, sitenizin ana dizininde duran (yourdomain.com/robots.txt) küçük bir metin dosyasıdır. İçine yazdığınız kurallarla arama motoru botlarına "şu klasöre girme" veya "şu sayfayı tarama" diyebilirsiniz. Tipik bir kullanım: yönetim paneli, test sayfaları veya arama sonuçları gibi dizine girmesini istemediğiniz bölümleri engellemek.
robots.txt ile engellenmiş bir sayfa arama sonuçlarından da kaybolur — ama her zaman anında değil. Yanlışlıkla "Tümünü engelle" (Disallow: /) yazarsanız sitenizin tamamı Google'dan çekilebilir. Dosyayı düzenlemeden önce mutlaka Google Search Console'da "robots.txt Denetleyicisi" ile test edin.
İkisinin Farkı Ne?
- Site haritası: "Google, şu sayfalara bak" — keşfetmeyi hızlandırır
- robots.txt: "Google, şu bölümlere girme" — taramayı sınırlar
- İkisi birbirinin yerine geçmez; biri yoksa diğeri onun işini yapmaz
- Site haritasına eklediğiniz bir sayfa robots.txt ile engellenebilir — bu çelişki en sık yapılan hatalardan biri
WordPress, Shopify ve benzeri sistemler site haritasını otomatik oluşturur. WordPress için Yoast SEO veya Rank Math gibi eklentiler hem sitemap.xml hem de robots.txt yönetimini kolaylaştırır. Özel bir site kullanıyorsanız bu dosyaları kendiniz oluşturmanız veya geliştiricinizden isteméniz gerekir.