Robots.txt jeneratörü

Bir web sitesindeki Robots.txt dosyası, web yöneticisinin bir siteyi tararken, web yöneticisinin bir siteyi tararken belirtilen dosyaları veya dizinleri görmezden gelmesine yardımcı olur.

Robots.txt jeneratörü, Robost.txt dosyasını kolaylaştırmanıza yardımcı olur, Wehn'e izin verilen arama motorunu seçersiniz ve tarama gecikme süresini seçin, Site Haritası URL'sini girin ve İzin verilen rototları seçin, sonra kodunuzu alın. Aşağıdaki gibi kod:

Kullanıcı Ajanı: *

İzin verilmemesi: /

Kullanıcı aracısı: ia_archiver

İzin vermemek:

Kullanıcı Aracısı: Slurp

İzin vermemek:

Kullanıcı Ajanı: Aport

İzin vermemek:

Kullanıcı Aracısı: Teoma

İzin vermemek:

Kullanıcı Aracısı: Baiduspider

İzin vermemek:

Kullanıcı-Ajan: Twiceler

İzin vermemek:

Kullanıcı Aracısı: Robozilla

İzin vermemek:

Kullanıcı Aracısı: Gigabot

İzin vermemek:

Kullanıcı Aracısı: GoogleBot

İzin vermemek:

Kullanıcı Aracısı: GoogleBot-Image

İzin vermemek:

Kullanıcı Aracısı: GoogleBot-Mobile

İzin vermemek:

Kullanıcı Aracısı: Mail.ru

İzin vermemek:

Kullanıcı Aracısı: Msnbot

İzin vermemek:

Kullanıcı Aracısı: PSBot

İzin vermemek:

Kullanıcı Aracısı: Naverbot

İzin vermemek:

Kullanıcı Aracısı: yeti

İzin vermemek:

Kullanıcı Aracısı: Nutch

İzin vermemek:

Kullanıcı aracısı: stackrambler

İzin vermemek:

Kullanıcı Aracısı: Scrubby

İzin vermemek:

Kullanıcı Aracısı: Asterias

İzin vermemek:

Kullanıcı-Ajan: Yahoo-Slurp

İzin vermemek:

Kullanıcı Aracısı: Yandex

İNDİRMEYİN:

FoxCalculators - Ücretsiz Çevrimiçi Hesap Makineleri!

Robots.txt jeneratörü