The Useless Journal v4

Mehmet Büyüközer’inde bahsettiği gibi arama motorlarının belirli bir URL’i ya da etki alanını (domain) veritabanına eklenmesini istemiyorsanız daha basit bir yol var. Web sunucumuzun kök dizininde (”/”) robots.txt adında bir dosya oluşturuyoruz, dikkat edin küçük harfli olmak zorunda.sonra da içeriğini aşadaki örneğe benzetiyoruz:

User-agent: *
Disallow: /~ercin/blog/wp-admin/
Disallow: /cache/
...

Bunu basit bir META HTML etiketi ilede sağlayabiliriz:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW>

Daha fazla bilgi için bu adresi ziyaret edebilirsiniz