...jeśli chcielibyśmy zablokować dostęp robotom-indekserom np. do wszystkich dokumentów z określonego katalogu serwisu albo wręcz hurtowo do wszystkich plików witryny, tak aby nie pojawiały się w wynikach wyszukiwania np. Google. Znacznik ten okazuje się wręcz zupełnie nieprzydatny, jeśli zależy nam na zablokowaniu indeksowania zdjęć z naszego serwisu (większość wyszukiwarek posiada osobne formularze do wyszukiwania plików graficznych). Istnieje jednak możliwość określenia globalnego dostępu do...

...Co to są roboty HTML? Witryn w całym Internecie jest tak dużo, że niemożliwe byłoby przeszukiwanie ich wszystkich w czasie rzeczywistym - tak jak plików na dysku lokalnym komputera. Dlatego każda wyszukiwarka internetowa (np. Google) posiada własnego robota (albo w skrócie po prostu bota). Jest to specjalny program, który nieustannie odwiedza wszystkie strony w Internecie i zapisuje ich przetworzoną treść w swojej bazie danych. Następnie kiedy użytkownicy wpisują określone słowa kluczowe...