Czasami zdarza się, że pragniemy aby nasza strona, lub pewne jej podstrony nie były indeksowane przez wyszukiwarkę google. Co w takiej sytuacji zrobić? Jak zmusić wyszukiwarkę google do ‘zapomnienia’ o naszej witrynie? Jest to dość proste. Wszystko zależy od odpowiedniego skonfigurowanie pliku robots.txt w głównym katalogu naszej strony.
Zacznijmy od początku.Po pierwsze musimy stworzyć odpowiedni plik robots.txt, który będzie się znajdował w głównym katalogu naszej strony, tzn. będziemy mogli go wywołać z adresu
http://www.domena.pl/robots.txt -prawidłowo
http://www.domena.pl/folder/robots.txt -ten przykład jest błędny!
Google pobiera dane zapisane w pliku robots.txt automatycznie jeśli można go wywołać w wyżej wymieniony sposób. continue reading…
Popularity: 36% [?]