Robots.txt Nedir ve En İyi Nasıl Oluşturulur?

Robots.txt Nedir ve En İyi Nasıl Oluşturulur?

Robots.txt dosyası ile Google gibi arama motorlarına istemediğiniz yerleri disallow edip engelleyebilirsiniz. Robots.txt oluşturmak için buradaki bilgileri kullanabilirsiniz.

İçindekiler

Robots.txt Nedir?

Robots.txt, arama motoru robotlarının web saylarını nasıl tarayacağını belirlemek için kullanılan metin dosyasıdır. Alan adının kök dizininde bulunan bu dosya (www.adtorium.com/robots.txt) gibi bir yerde bulunur. Robotların belirli sayfalarını engellemek için kullanılır.

Arama motorlarına vereceğiniz iki talimat bulunuyor “izin ver” ve “izin verme” bunu da metin dosyasında aşağıdaki örneklerde gibi kullanabilirsiniz.

User-agent:*

Disallow:/adtorim-deneme.html

Bu örnekte anlatılmak istenen tüm botlara “adtorim-deneme.html” adlı URL’i engellemesini belirtiyorsunuz.

Robots dosyası örneği.

Klasör Engellemek İçin;

User-agent:*

Disallow:/deneme/

Komutunu Robots.txt dosyanıza ekleyebilirsiniz.

Klasör Engellemek İçin;

User-agent:*

Disallow:/adtorim/

Komutuyla ilgili klasörü engelleyebilirsiniz. Allow komutuyla da istediğiniz bölümlere izin verebilirsiniz.

Googlebot’a belli dosyaları engellemek istiyorsanız;

User-agent: googlebot

Disallow:/adtorim/

Google Resimler botuna engellemek istiyorsanız;

User-agent: googlebot-images

Disallow:/adtorim/

Belli dosya türlerini engellemek için;

User-agent: *

Disallow:*.jpg

XML Site Haritalarını Eklemek

XML site haritalarını Robots.txt dosyanıza eklemeniz de önerilmektedir. Bu şekilde indexlenme konusundaki bazı konularınızı da çözebilirsiniz.

Robots dosyanıza video, resimler ve dieğr tüm site haritalarınızı ekleyebilirsiniz.

Robots.txt dosyanızda yapacağınız değişiklikleri Google Search Console üzerinden Robots.txt test aracı ile Google’a bildirebilir ve gerekli talimatlara uymasını sağlayabilirsiniz. Bu dosyadaki güncellemelerinizi hemen görülmesini sağlamak istiyorsanız test aracını kullanabilirsiniz. Bazı sayfalar Robots.txt ile engelli olsalar bile dizine eklenebilir, bu gibi durumlarda ilgili sayfalara “noindex” vermeniz tavsiye edilir.

Robots.txt dosyanız herkesin görebileceği bir kısımda bulunabileceğinden özel olarak indexlenmesini istemediğiniz sayfaları veya diğer kişisel bilgilerin engellemesini bu dosya üzerinden değil noindex tagını uygulayarak gerçekleştirebilirsiniz.

Robots.txt Başka Dizine Eklenebilir Mi?

Hayır, mutlaka ana dizine eklemeniz gerekiyor. Bu dosyanın adını değiştirmek veya farklı bir yere eklemek dosyanın görülmesini engelleyecektir.

Neden Robots.txt Önemlidir?

Tüm bu işlemler sürecinde Googlebot’un sitesini taramasını engelleyecek tarzda komutlar kullanılması sitenin taranmasında sıkıntılar çıkartabilir ve dizinde çok ciddi sorunlar meydana gelmesine sebep olabilir.

  1. SEO açısından yinelenen içeriği engelleme,
  2. Bazı subdomain ya da subfolder bölümleri gibi alanları gizlemek,
  3. Site haritalarının yerlerinin belirtilmesi,
  4. Belirli dosya eklerinin indexlenmesini engellemek için bu dosya kullanılır.

Robots.txt Dosyam Var mı?

Bunu çok kolay şekilde öğrenebilirsiniz. Sitenizin sonuna /robots.txt yazıp gittiğinizde bir dosya geliyor ve bunda talimatlar bulunuyorsa evet bu dosyanız var demektir.

Robots.txt Nasıl Oluşturulur?

Bunun için Robots.txt oluşturma aracımızı kullanabilirsiniz. Çok hızlı ve kolayca ilgili dosyanı oluşturabilir ve ana dizine (public_html gibi) atabilirsiniz.

BU SAYFAYI PAYLAŞ

BU YAZIYI PUANLA

(0 Oy . Ortalama Puan : 0 )
YORUMLAR

Bu yazı için herhangi bir yorum yapılmamış.

İlk yorumu siz yapın

SİZ DE YORUM YAZIN

cb4dd9 Captca Değiştir