UniBoard.eu

Czasami zdarza się, że pragniemy aby nasza strona, lub pewne jej podstrony nie były indeksowane przez wyszukiwarkę google. Co w takiej sytuacji zrobić? Jak zmusić wyszukiwarkę google do ‘zapomnienia’ o naszej witrynie? Jest to dość proste. Wszystko zależy od odpowiedniego skonfigurowanie pliku robots.txt w głównym katalogu naszej strony.

Zacznijmy od początku.Po pierwsze musimy stworzyć odpowiedni plik robots.txt, który będzie się znajdował w głównym katalogu naszej strony, tzn. będziemy mogli go wywołać z adresu
http://www.domena.pl/robots.txt -prawidłowo
http://www.domena.pl/folder/robots.txt -ten przykład jest błędny!

Google pobiera dane zapisane w pliku robots.txt automatycznie jeśli można go wywołać w wyżej wymieniony sposób.

Konfiguracja
W najprostszym pliku robots.txt stosowane są dwie reguły:

• User-agent: określa robota, którego dotyczy dana reguła
• Disallow: blokowane strony

Te dwa wiersze stanowią jeden wpis pliku. Plik może zawierać dowolną liczbę wpisów. W jednym wpisie można podać wiele wierszy Disallow i wiele wierszy User-agent np:

• Aby zablokować całą witrynę, należy użyć ukośnika.

Disallow: /

• Aby zablokować katalog i całą jego zawartość, po nazwie katalogu należy wpisać ukośnik.

Disallow: /katalog_prywatny/

• Aby zablokować stronę, należy wpisać jej nazwę.

Disallow: /plik_prywatny.html

Blokowanie googlebot’a

Google używa kilku agentów użytkownika (user-agents). Każdemu z nich można zablokować dostęp, podając nazwę bota w wierszu User-agent wpisu. Wskutek zablokowania Googlebota zablokowane zostaną wszystkie roboty, których nazwa zaczyna się od Googlebot.

• Googlebot: przemierza strony uwzględniane w indeksie witryn internetowych oraz Google News
• Googlebot-Mobile: przemierza strony uwzględniane w indeksie witryn komórkowych
• Googlebot-Image: przemierza strony uwzględniane w indeksie grafiki
• Mediapartners-Google: przemierza strony w celu ustalenia treści AdSense. Ten robot jest używany tylko do przemierzania witryn, w których wyświetlane są reklamy AdSense.
• Adsbot-Google: przemierza strony w celu oceny jakości strony docelowej AdWords. Ten robot jest stosowany tylko do przemierzania witryn reklamowanych w programie Google AdWords. Dodatkowe informacje o tym robocie i sposobach blokowania mu dostępu do części witryny.

Aby całkowicie zablokować Googlebota, można użyć następującej składni:
User-agent: Googlebot
Disallow: /

Popularity: 3% [?]

Related posts:

1. Jak Google wykrywa nieprawidłowe kliknięcia AdSense
2. Adsenseboy czyli zarabiający skrypt?