Google'da bir şeyler ararken, bir siteye girersin ya... İşte o sitenin arama motoruyla olan ilişkisini robots.txt dosyası düzenler. Robots.txt nedir diye merak edersen, sitenin arama motorlarına "Şuralara bakabilirsin, buralara dokunma" dediği rehber kitapçık gibi düşünebilirsin. Her şey bu kadar basit mi? Biraz da karmaşık aslında. Ama çok da değil.
Peki, nasıl hazırlanır bu dosya? Bak, önce bir metin dosyası açıyorsun. İçine birkaç sihirli kelime yazıyorsun. "User-agent" ve "Disallow" kelimeleri gibi. Bunlar ne işe yarar? Bir tür talimat verir. Arama motoru botlarına nerelere gideceklerini söyler. "Ey bot, buraya kadar gel ama şuraya sakın dokunma" der gibi.
Amaç basit. Sitene gelen arama motoru botlarının nereye bakacağını, nerede duracağını belirlemek. Hayal et, evine gelen misafirin hangi odalara gireceğini belirlemek gibi. Fazla mı benzetme yaptık? Neyse, devam edelim.
"Allow" ve "Disallow" gibi komutlarla, arama motorlarına neyi indeksleyeceklerini söylersin. Çoğu zaman gereksiz sayfaların arama motorlarına takılmasını istemezsin. Düşünsene, gereksiz bir sürü sayfa... O yüzden, robots.txt dosyası önemli işte. Ama sakın abartma, her şeyi engellemek de kötü.
Bazen bir siteyi yaparken "Ya bu robots.txt dosyası ne işime yarayacak?" diye düşünebilirsin. Bir bakıma haklısın. Ama SEO dünyasında, bu küçük dosya önemli. Arama motoru optimizasyonu dediğimiz şeyin gizli kahramanı. İnce işçilik isteyen bir alan, kabul edelim.
Son olarak, robots.txt dosyasını hazırlarken dikkatli ol. Yanlış bir satır, siteni arama motorlarından uzaklaştırabilir. Sanki kapıyı kilitleyip anahtarı dışarıda bırakmak gibi. Aman dikkat! Her şeyin bir ayarı var. O ayarı kaçırma. İşte böyle, robots.txt dosyası hazırlamak bu kadar basit ve karmaşık bir şey.
Peki, nasıl hazırlanır bu dosya? Bak, önce bir metin dosyası açıyorsun. İçine birkaç sihirli kelime yazıyorsun. "User-agent" ve "Disallow" kelimeleri gibi. Bunlar ne işe yarar? Bir tür talimat verir. Arama motoru botlarına nerelere gideceklerini söyler. "Ey bot, buraya kadar gel ama şuraya sakın dokunma" der gibi.
Amaç basit. Sitene gelen arama motoru botlarının nereye bakacağını, nerede duracağını belirlemek. Hayal et, evine gelen misafirin hangi odalara gireceğini belirlemek gibi. Fazla mı benzetme yaptık? Neyse, devam edelim.
"Allow" ve "Disallow" gibi komutlarla, arama motorlarına neyi indeksleyeceklerini söylersin. Çoğu zaman gereksiz sayfaların arama motorlarına takılmasını istemezsin. Düşünsene, gereksiz bir sürü sayfa... O yüzden, robots.txt dosyası önemli işte. Ama sakın abartma, her şeyi engellemek de kötü.
Bazen bir siteyi yaparken "Ya bu robots.txt dosyası ne işime yarayacak?" diye düşünebilirsin. Bir bakıma haklısın. Ama SEO dünyasında, bu küçük dosya önemli. Arama motoru optimizasyonu dediğimiz şeyin gizli kahramanı. İnce işçilik isteyen bir alan, kabul edelim.
Son olarak, robots.txt dosyasını hazırlarken dikkatli ol. Yanlış bir satır, siteni arama motorlarından uzaklaştırabilir. Sanki kapıyı kilitleyip anahtarı dışarıda bırakmak gibi. Aman dikkat! Her şeyin bir ayarı var. O ayarı kaçırma. İşte böyle, robots.txt dosyası hazırlamak bu kadar basit ve karmaşık bir şey.
