Çok eski bir web tarayıcısı kullanıyorsunuz. Bu veya diğer siteleri görüntülemekte sorunlar yaşayabilirsiniz.. Tarayıcınızı güncellemeli veya alternatif bir tarayıcı kullanmalısınız.
Robots.txt dosyası gerçekten önemli ama göz korkutacak bir şey değil. İlk başta karmaşık gibi görünebilir ama zamanla alışıyorsun. Başta "User-agent: *" ile başlayıp genel kuralları belirleyebilirsin. Sonra da "Disallow: /" ile hangi sayfaların indekslenmesini istemediğini belirtirsin. Yanlış...