Düşünsene, bir sabah uyanıyorsun ve web sitenin arama motorlarındaki görünürlüğü yerlerde sürünüyor. Ne yaparsın? "Abi ya, bu işin içine ne dolaplar çevirdiniz?" dersin belki. İşte o an, aklına gelmesi gereken ilk şey: robots.txt dosyan. Evet, belki de hiç düşünmediğin bir dosya ama sitenin kaderini belirleyen gizli kahramanlardan biri. "Nasıl olur bu?" diye sorabilirsin. Hemen anlatayım...
Robots.txt, arama motoru botlarının siteni nasıl tarayacağını belirleyen bir kılavuz aslında. Yani, "Google efendi, şu sayfaları indeksle ama bu sayfalara karışma" deme şeklin. Düşünsene, kapında bir güvenlik görevlisi var ve hangi misafirin nereye gireceğini o belirliyor. İşte bu dosya da tam olarak bunu yapıyor. Yanlış bir satır, tüm siteyi arama motorlarından saklayabilir. Yani dikkatli olmalı, her değişiklikte bir kez daha düşünmelisin.
Peki, bu dosyayı nasıl düzenlersin ki yanlış bir şey yapmayasın? Öncelikle biraz sakin ol. Bu işin bir şablonu var tabii ki ama her sitenin kendi ihtiyaçları, dinamikleri var. "User-agent: *" gibi bir ifade ile başla mesela. Bu, "herkese açık" demek. Ardından, "Disallow: /" komutunu kullanarak hangi sayfaları gizlemek istediğine karar ver. Ama dikkat et, yanlış bir satır tüm siteyi karanlığa gömebilir. "Ya bu iş biraz korkutucu değil mi?" diye düşünebilirsin. Haklısın ama korkma, alışınca su gibi akıp gidiyor.
Bir de şu var: Robots.txt dosyasını düzenlerken sadece Google'ı düşünme. Bing, Yahoo gibi diğer arama motorları da var. "Abi, onlara da mı ayar çekeceğiz?" dersen, evet, çekmelisin. Her arama motoru kendi kurallarına göre hareket edebilir ve senin işini garantiye alman lazım. Yani, her detayı düşün ve hiçbir şeyi şansa bırakma. Çünkü bu işin şakası yok.
Son olarak, bir tavsiye: Robots.txt dosyasını düzenledikten sonra hemen kontrol et. Google Search Console gibi araçlar bu iş için biçilmiş kaftan. Hataları, uyarıları anında görüp düzeltebilirsin. "Ben bu işin üstesinden gelemem" deme. Biraz sabır, biraz araştırma ve bolca kahve ile bu işin de üstesinden geleceksin. İnan bana, bu dosyada ustalaştığında web dünyasının kapılarını daha geniş aralayacaksın. Başla bakalım, neler yapabileceğini göreceksin...
Robots.txt, arama motoru botlarının siteni nasıl tarayacağını belirleyen bir kılavuz aslında. Yani, "Google efendi, şu sayfaları indeksle ama bu sayfalara karışma" deme şeklin. Düşünsene, kapında bir güvenlik görevlisi var ve hangi misafirin nereye gireceğini o belirliyor. İşte bu dosya da tam olarak bunu yapıyor. Yanlış bir satır, tüm siteyi arama motorlarından saklayabilir. Yani dikkatli olmalı, her değişiklikte bir kez daha düşünmelisin.
Peki, bu dosyayı nasıl düzenlersin ki yanlış bir şey yapmayasın? Öncelikle biraz sakin ol. Bu işin bir şablonu var tabii ki ama her sitenin kendi ihtiyaçları, dinamikleri var. "User-agent: *" gibi bir ifade ile başla mesela. Bu, "herkese açık" demek. Ardından, "Disallow: /" komutunu kullanarak hangi sayfaları gizlemek istediğine karar ver. Ama dikkat et, yanlış bir satır tüm siteyi karanlığa gömebilir. "Ya bu iş biraz korkutucu değil mi?" diye düşünebilirsin. Haklısın ama korkma, alışınca su gibi akıp gidiyor.
Bir de şu var: Robots.txt dosyasını düzenlerken sadece Google'ı düşünme. Bing, Yahoo gibi diğer arama motorları da var. "Abi, onlara da mı ayar çekeceğiz?" dersen, evet, çekmelisin. Her arama motoru kendi kurallarına göre hareket edebilir ve senin işini garantiye alman lazım. Yani, her detayı düşün ve hiçbir şeyi şansa bırakma. Çünkü bu işin şakası yok.
Son olarak, bir tavsiye: Robots.txt dosyasını düzenledikten sonra hemen kontrol et. Google Search Console gibi araçlar bu iş için biçilmiş kaftan. Hataları, uyarıları anında görüp düzeltebilirsin. "Ben bu işin üstesinden gelemem" deme. Biraz sabır, biraz araştırma ve bolca kahve ile bu işin de üstesinden geleceksin. İnan bana, bu dosyada ustalaştığında web dünyasının kapılarını daha geniş aralayacaksın. Başla bakalım, neler yapabileceğini göreceksin...
