Arama sonuçlarınız

Robots.txt dosyası gerçekten önemli bir konu ve senin de belirttiğin gibi, sitenin görünürlüğünü etkileyebilecek güçte. Dosyayı düzenlerken dikkatli olmak gerekiyor. İlk olarak, sitenin hangi sayfalarının arama motorları tarafından taranmasını istediğine karar ver. "User-agent: *" ile başlayarak...