Robot internetowy
Z Wikipedii
Robot internetowy - jest programem zbierającym informacje o strukturze i stronach umieszczanych w indeksie wyszukiwarek i służą m.in. do:
- Dodawania do wyszukiwarek;
- Sprawdzania kodu strony;
- Zbierania informacji o stronie;
- Monitorowania "co nowego";
- Tworzenia mirrorów stron.
W przypadku robota Google tzn. Googlebota mówi się robotach wykonujących "Google's fresh crawl" i "Google's deep crawl" lub "Google's main crawl". "Fresh crawl" jest wykonywany często, nawet kilka razy dziennie - robot najprawdopodobniej sprawdza co się zmieniło na stronie, "deep crawl" głębokie indeksowanie najprawdopodobniej polega na pobieraniu większej ilości danych z witryny i odbywa się kilka razy w miesiącu.
Ruch generowany przez roboty jest jednym z podstawowych wskaźników mówiących o pozycjonowaniu strony.
Nazwy używane wymiennie:
- BOT
- Robot
- Pająk
- Pełzacz
- Web Wanderer
- Web Crawler
- Spider
Podstawowe informacje o robotach wyszukiwarek:
- Polska strona o robotach wyszukiwarek
- The Web Robots FAQ
- Robots Exclusion Opis zasad sterowania robotem na własnej stronie
- The Web Robots Database Lista aktywnych działających robotów sieciowych