Co to jest meta robots? - Kurs HTML i CSS
Co to jest meta robots?
To znacznik, który można wstawić w nagłówku dokumentu HTML - czyli wewnątrz elementu <head>...</head>. Pozwala on sterować widocznością strony w wynikach wyszukiwania np. Google. Na przykład <meta name="robots" content="noindex"> spowoduje, że strona nie powinna być w ogóle widoczna w wynikach wyszukiwania.
Nagłówek i treść / Roboty <meta "robots, googlebot">Spis treści <meta "robots, googlebot"> Roboty <meta "robots"> Niestandardowe dyrektywy robotów Googlebot <meta "googlebot"> Roboty <meta "robots"> <head> <meta name="robots" content="dyrektywy"> </head> gdzie jako "dyrektywy" należy wpisać: "index" - strona, na której wstawiono polecenie, będzie indeksowana przez roboty sieciowe (indeksery) - domyślnie "noindex" - strona, na której wstawiono polecenie, nie będzie indeksowana "follow" - przechodzenie do stron, do których odnoszą się...
- Nagłówek i treść / Plik robots.txt
Spis treści robots.txt User-Agent Disallow Allow Wzorce dopasowania robots.txt Znacznik <meta name="robots"> jest przydatny w celu określania dostępu przez roboty do pojedynczych dokumentów HTML. Okazuje się jednak mało praktyczny, jeśli chcielibyśmy zablokować dostęp robotom-indekserom np. do wszystkich dokumentów z określonego katalogu serwisu albo wręcz hurtowo do wszystkich plików witryny, tak aby nie pojawiały się w wynikach wyszukiwania np. Google. Znacznik ten okazuje się wręcz...
- Odsyłacze / Blokada indeksowania odsyłaczy <a "nofollow, ugc, sponsored">
...czyli specjalnych programów zbierających informacje o stronach w Internecie, wykorzystywane później przez wyszukiwarki. Element <meta name="robots" content="nofollow"> powoduje, że roboty sieciowe nie będą podążać za żadnymi linkami umieszczonymi w dokumencie. Czasami jednak chcielibyśmy zablokować uwzględnianie tylko wybranych odsyłaczy. Taka sytuacja najczęściej ma miejsce, kiedy wstawiamy na swojej stronie system komentarzy. Spammerzy lub spamboty (automaty spamujące)...
Wykaz generatorów...HTML. Pozwala np. zmienić kolor suwaków strony. Posiada szereg unikalnych funkcji, niedostępnych nawet w programach komercyjnych! Tester pliku robots.txt Jeśli nie masz pewności co do konstrukcji pliku robots.txt, dobrze jest sprawdzić efekt jeszcze przed wprowadzeniem zmian, ponieważ błąd może skutkować niezamierzonym usunięciem z indeksu wyszukiwarek poważnej części serwisu. Tutaj możesz się również przekonać, jak mogą się zachować starsze roboty, które nie w pełni obsługują standard...