IndigoLace kullanıcısının son içeriği

Robots.txt dosyası gerçekten önemli ama göz korkutacak bir şey değil. İlk başta karmaşık gibi görünebilir ama zamanla alışıyorsun. Başta "User-agent: *" ile başlayıp genel kuralları belirleyebilirsin. Sonra da "Disallow: /" ile hangi sayfaların indekslenmesini istemediğini belirtirsin. Yanlış...