Robots.txt nedir? ne işe yarar?

+ Yorum Gönder
Webmaster ve Arama motorları Bölümünden Robots.txt nedir? ne işe yarar? ile ilgili Kısaca Bilgi
  1. 1
    KemaaLL
    Emekli
    Reklam

    Robots.txt nedir? ne işe yarar?

    Reklam



    Robots.txt nedir? ne işe yarar?

    Forum Alev
    Arama motorları, belki de sitenizin ziyaretçilerinin büyük bir bölümü onlar sayesinde sizi buluyorlar ve takip etmeye başlıyorlar.

    Bazen arama motorlarına sitenizi siz kaydetmek için başvuruyorsunuz, bazen de arama motorları Robot veya Bot denilen uygulamalarla sizin sitenizi buluyorlar.

    Bu bulma işleminde ise sitenizde bulunan her linki özenle tarayıp kendi veritabanlarına kaydediyorlar. Bu sayede arama sonuçlarında sitenizde ne var ne yok ziyaretçileriniz öğrenebiliyor, bulabiliyor.

    Ancak bazı durumlarda sitenizi indeksleyen bu robotlara hükmetmek isteyebilirsiniz:
    Parola koruması olmayan fakat çoğu kişinin de görmesini istemeyeceğiniz bir sayfanız olabilir,
    Bazı sayfalarınızdaki programların ve içerik sayılamayacak bilgilerin (cgi-bin dizini gibi) taranmasını istemeyebilirsiniz,
    Ya da sadece fazla bandwidth kaybetmek istemeyip taramanın yapılmamasını isteyebilirsiniz.

    Bu gibi durumlarda robotlara hükmetmek için elinizde bir fırsat bulunuyor: robots.txt dosyası. Bu dosya sitenizin ana dizininde bulunur ve arama motorlarının gönderdikleri robotlara bazı komutlar verir. Örneğin bu dosyadaki bir satır ile www.siteniz.com/infocus-tr adresinin arama motorlarında çıkmamasını sağlayabilirsiniz.

    Sitenize ftp ile bağlandığınızda eğer robots.txt adında bir dosya yoksa bunu siz de oluşturabilirsiniz. Eğer böyle bir dosya yoksa her robot tüm site içeriğini indeksleyecektir.
    Basit olarak robots.txt dosyasının içinde şu iki satır bulunur:

    User-agent: *Disallow: /

    Burada User-agent: satırı ve sonrasında gelen * işareti "Tüm robotlara alttaki komutu uygula" anlamına gelmektedir. Disallow: ise Türkçe karşılığıyla "İzin verme" demek olup, akabinde gelen / işaretiyle "tüm site içeriğini indeksleme" komutuna karşılık gelir.

    Örnek olarak Google arama motorundan gelecek robotun, bizim sitemizdeki /infocus-tr klasöründeki hiçbir içeriği taramamasını istiyoruz. Bunun için kullanmamız gereken komut satırı:

    User-agent: Googlebot

    Disallow: /infocus-tr/

    olacaktır. /infocus-tr./ yazmamızdaki neden ise baştaki / işareti kök dizini, sondaki / işaret ise infocus-tr'in dizin olduğunu vurgulamak içindir. Eğer siz sadece bir dosyayı indeksletmemek isterseniz, Disallow: /infocus-tr.html satırını da kullanabilirsiniz.

    Robots.txt dosyası hakkında daha fazla bilgiyi buradan alabilirsiniz.
    Robotstxt adresinden de şuan için bilinen tüm robotların isimlerine ulaşabilir, az önceki örnekte yaptığımız gibi sadece bazı robotların bazı sayfalara ulaşamamasını sağlayabilirsiniz.



  2. 2
    Saat12
    Yeni Üye
    Reklam



    Peki O Zaman vbulletin Botlarının Siteye Girmesini Engeleyebiliriz.







  3. 3
    KemaaLL
    Emekli
    Alıntı Saat12 Nickli Üyeden Alıntı Mesajı göster
    Peki O Zaman vbulletin Botlarının Siteye Girmesini Engeleyebiliriz.



    Robots.txt eklediğiniz anda botlar izin vermediğiniz klasör ve uzantıları ziyaret etmeyecektir.bu yolla istemediğiniz kısımlara erişimi botlara kapatırsınız..







+ Yorum Gönder
5 üzerinden | Toplam : 0 kişi