Robots.txt dosyası Arama Motoru Optimizasyonu için çok önemli faydaları olan bir dosyadır. Bu dosyayı Not Defteri ve benzeri bir metin editörü ile oluşturabiliriz. Robots.txt dosyasını sitemizin arama motorları tarafından doğru indexlenmesini, istemediğimiz kısımların indexlenmemesini sağlamak amacıyla Google Bota’a yol göstermek amacı ile kullanıyoruz.
Arama motorlarının botları bir web sitemize geldikleri zaman direkt olarak kök dizinimizde bulunan robots.txt dosyasını ararlar, bu sebeple robot.txt dosyamızı mutlaka kök dizinimize koymalıyız. Alt dizinlerdeki robot.txt dosyaları botlar tarafından dikkate alınmayacaktır.
Peki robot.txt dosyamızı nasıl hazırlıyoruz?

Tüm Robotların sitemizin tamamını indekslemesini engellemek istiyorsak;

User-agent: *

Disallow: /

Sitemizin tamamının belirli bir robot tarafından indekslenmesini engellemek istiyorsak;

User-agent: Googlebot

Disallow: /

User-agent: *

Disallow:

Sitemizin tamamının bütüm robotlar tarafından indekslemesini istiyorsak;

User-agent: *

Disallow:

Veya bu amaçla robots.txt dosyamızı boş bırakabiliriz. Aynı işi görür.

Kök dizinimizdeki belirli bir dizinin tüm robotlar tarafından indekslenmesini engellemek istiyorsak;

User-agent: *

Disallow: /dizin-adi/

Sadece bir sayfanın tüm robotlar tarafından indekslenmesini engellemek istiyorsak;

User-agent: *

Disallow: /dizin-adi/sayfa.html

Robots.txt dosyasında;
“/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinlerin hepsini ayrı ayrı belirtmelisiniz.

Örnek bir kod aşağıdaki şekilde olabilir;

# www.siteadresi.com için robots.txt dosyası

User-agent: *

Disallow: /cgi-bin/

Disallow: /administrator/private/

Disallow: /dizin/sayfa.html/