Robots.txt Oluşturma

Robots.txt Dosyası Nedir Ve Ne İşe Yarar?

Robots.txt dosyası internet ortamında sık sık duymakta olduğumuz kavramlardan bir tanesidir. Bu dosya, arama motorlarının sitenizde ulaşmasını istemediğiniz bütün yerleri gösteren bir dosya olarak bilinmektedir. Robots.txt, kök dizininde bulunmakta olan bir dosya olduğunu söylesek yanılmış olmayız. Sitelere bu dosyanın yerleştirilmesinin en temel sebebi, hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini robotlara anlatmaktır. Robotların sadece kök dizindeki dosyaya bakacağını düşünürsek robots.txt dosyasını alt dizinlere yerleştirmeye gerek olmadığını söyleyebiliriz. Yani robots.txt dosyasını, kök dizinine yerleştirmek ilk aşama için yeterli bir işlem olacaktır. Oluşturucu aracımızla da bu işlemi gerçekleştirebilir ve test edebilrsiniz.