* Краулер *
1. Бот поисковой системы, который загружает и индексирует контент со всего Интернета.
2. Программа - составная часть поисковой системы, перебирающая страницы Интернета и заносящая их в поисковую базу данных.
3. Программное обеспечение поисковой системы, которое обходит веб-страницы и заносит их в индекс.