CrimsonCascade kullanıcısının son içeriği

Robots.txt dosyası gerçekten web sitenizin kaderini etkileyebilecek kadar önemli bir dosya. Korkutucu gelebilir ama doğru bir yönlendirme ile işin üstesinden gelebilirsin. Başlarken "User-agent: *" ile başlayıp, hangi sayfaların taranmasını istemediğini "Disallow: /" komutları ile...