| Поисковый робот | Поисковая система |
|---|
| Acoon | Acoon bot |
| AnzwersCrawl | Australian search |
| Arachnoidea | EuroSeek search |
| Araneo | Apparently spiders |
| ArchitextSpider | Excite spider |
| Atomz | Atomz bot |
| CMC | Computer Music Center bot |
| ComputingSite | ComputingSite bot |
| Cruizer | Southafrican spider |
| Datenbank | Datenbank.de bot |
| DeepIndex | DeepIndex spider |
| Die Blinde Kuh | German Kids spider |
| DomainsDB.net MetaCrawler v.0.9.7b | http://domainsdb.net/ |
| Esther | Build database bot |
| ExplorerSearch | New Zealand Explorer |
| Fast-WebCrawler | AllTheWeb spider |
| Fido | PlanetSearch spider |
| FreeCrawl | EuroSeek spider |
| Gaisbot | GAIS spider |
| Gigabot | Gigablast |
| Googlebot/2.1 (+http://www.google.com/bot.html) | Google |
| Gulliver | Northern Light spider |
| Gulper Web Bot | Yuntis web robot |
| Icorus | Webmasterworld.com Bot |
| InfoSeek | InfoSeek spider |
| Iron33 | Verno spider |
| IsraeliSearch=Israeli Society | |
| JCrawler | Vietnamese search |
| KIT Fireball | Fireball search |
| KO Yappo | Yappo search |
| Mercator | Altavista spider |
| Mewsoft Search Engine | Newsoft spider |
| Motor | CyberCon Search spider |
| Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) | Yahoo! |
| MuscatFerret | EuroFerret database |
| MwdSearch | Finnish search |
| NEC MeshExplorer | NETPLAZA search |
| Nederland Zoek | Nederland.net search |
| NetScoop | NetScoop search |
| Nutch | open-source web search |
| Onet.pl SA | http://szukaj.onet.pl |
| Openbot | Openfind search |
| Openfind data gatherer | Openfind bot |
| Orb Search | Orb search |
| RHCS | RoadHouse search |
| Scooter | Altavista spider |
| Scrubby | Scrub The Web search |
| SearchTone | Developer's site spider |
| Sidewinder | InfoSeek spider |
| Slurp | Inktomi/Hot Bot search |
| StackRambler/2.0 (MSIE incompatible) | Rambler.ru bot |
| SurveyBot/2.3 (Whois Source) | http://www.whois.sc/ |
| SwissSearch | Swiss search |
| Tarantula | Altavista spider |
| Trek17 | Altavista search |
| UdiSearch | Yahoo spider |
| UltraSeek | InfoSeek spider |
| VWbot | SearchBC database spider |
| Vagabondo | Mainly Dutch spider |
| Valkyrie | Japanese ODIN search |
| Voyager | Lisa search service |
| WebCrawler | Fast |
| WebCrawler | WebCrawler search |
| WebQuest | Build search |
| Wired Digital | Wired Digital spider |
| YahooSeeker | Yahoo spider |
| Yandex/1.01.001 (compatible; Win16; H) | "зеркальщик" Яндекса, т.е. робот, определяющий зеркала сайтов. |
| Yandex/1.01.001 (compatible; Win16; I) | индексирующий робот Яндекса. |
| Yandex/1.01.001 (compatible; Win16; P) | индексатор картинок Яндекса. |
| Yandex/1.03.000 (compatible; Win16; M) | подсветчик, робот, обращающийся к странице по ссылке "Найденные слова" и "подсвечивающий" слова запроса в ее тексте. |
| Yandex/1.03.003 (compatible; Win16; D) | робот, обращающийся к странице при добавлении ее через форму "Добавить URL". |
| Zealbot | LookSmart spider |
| ZyBorg | Wisenut search |
| aWapClient | WAP content crawler |
| ah-ha.com | ah-ha bot |
| aport | Aport.ru bot |
| appie | Walhello.com search |
| ask jeeves | Ask Jeeves |
| bumblebee= | Relevare.com bot |
| crawler3 | Altavista spider |
| ia_archiver | Archive.org Bot |
| lycos | Lycos.com Bot |
| msnbot/1.0 (+http://search.msn.com/msnbot.htm) | MSN Search |
| scooter | Altavista |
| semanticdiscovery | Semanticdiscovery.com spider |
| slurp@inktomi | inktomi |
| szukacz | Polish searches |
| w3index | Scandinavian web spider |
| whatuseek | What You Seek |
На этой странице присутствует отчет по индексации поисковыми роботами
(дата, время, поисковый робот, поисковый агент, страница ресурса)
ключевых (контрольных) страниц нашего сайта.
Наша задача состоит в том, чтобы научиться
управлять поведением поисковых роботов (wanderers, spiders, robots)
и правильно построить структуру сайта (сервера) и содержащихся на нем документов,
чтобы сайт легко и хорошо индексировался.