Имена ботов поисковиков
Популярные в рунете поисковики
Yandex = бот Яндекса
Googlebot = бот Google
Yahoo Slurp = бот Яху
MSNBot = бот MSN
StackRambler = бот Рамблера
Webalta = бот Веб Альты
Часто на мои сайты ломятся боты с вот такими банальными именами именами. Причем второе это неправильный обратный перевод слова Паук.
spider
crawl
Большой аппетит имеют боты с вот такими именами Если вас не интересует китайский Yahoo! и память о ваше сайте в истории можно хорошо приберечь трафика для пользователей.
Alexa (IA Archiver)
The web archive (IA Archiver)
Yahoo! Slurp China
Подробнее о ботах Яндекса
* Yandex/1.01.001 (compatible; Win16; I) — главный индексирующий паук Яндекса
* Yandex/1.01.001 (compatible; Win16; P) — робот, который индексирует картинки
* Yandex/1.01.001 (compatible; Win16; H) — паук, определяющий зеркала сайтов. В народе робот-зекральщик
* Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий фавиконы - пиктограммы сайтов (favicons)
* Yandex/1.03.003 (compatible; Win16; D) — паук, обращающийся к странице при добавлении ее через форму «Добавить URL»(аддуэрелки). В народе - робот аддуэрельщик.
* Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
* YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса. Робот помогающий Яше колотить бабки )
* YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам. Он наверное эту страницу и сьест )
* YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей. Это еще в светлом будущем моего блога bajron.od.ua
* Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге. Робот ЯКи.
* Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
* Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
* Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
Теперь роботы поисковой системы Google
Googlebot-Image/1.0 = Как понятно из названия Качает картинки
Googlebot-Mobile/2.1 = Поиск для мобильных устройств
Googlebot/2.1 - a
Googlebot/2.1 - b
Googlebot/2.1 - c
Теперь все остальное огромное множество разнообразных роботов.
Netcraft
Cfetch
Ask
WISENutbot
ABCdatos BotLink
Acme.Spider
Ahoy! The Homepage Finder
Alkaline
Anthill
Walhello appie
Arachnophilia
Arale
Araneo
AraybOt
ArchitextSpider
Aretha
ARIADNE
arks
AskJeeves
ASpider
ATN Worldwide
Atomz.com Search Robot
AURESYS
BackRub
Bay Spider
BBot
Big Brother = Большой Брат следит за тобой. Я уже испугался ).
Bjaaland
BlackWidow = Черная вдова это интересное имя для паука.
Die Blinde Kuh = Робот-террорист и киллер )
Bloodhound
Borg-Bot
BoxSeaBot = Это бот, что боксирует в море?
bright.net caching robot
BSpider = еще одно незатейлевое имя
CACTVS Chemistry Spider
Calif
Cassandra = этого бота выгнали из Трои
Checkbot
ChristCrawler.com
churl
cIeNcIaFiCcIoN.nEt
Collective
Combine System
Conceptbot = ))))))
ConfuzzledBot
CoolBot = Фантазия так и плещет
XYLEME Robot
Internet Cruiser Robot
Cusco
CyberSpyder Link Test
CydralSpider
Desert Realm Spider
DeWeb(c) Katalog/Index
DienstSpider
Digger = НУ Это всем понятно
Digital Integrity Robot
Direct Hit Grabber
DNAbot
DownLoad Express
DragonBot
DWCP
e-collector
EbiNess
EIT Link Verifier Robot
ELFINBOT
Emacs-w3 Search Engine
ananzi
esculapio
Esther
Evliya Celebi
FastCrawler
Fluid Dynamics Search Engine robot
Felix IDE
FetchRover
fido
KIT-Fireball
Fish search
Fouineur
Robot Francoroute
Freecrawl
FunnelWeb
gammaSpider
gazz
GCreep
GetBot
GetURL
Golem = Из праги с пивом приходит
Griffon
Gromit
Northern Light Gulliver
Gulper Bot
HamBot = Хамит серверу и админам
Harvest = Преходит в Августе или начал сентября. И по осени цеплят считает
havIndex
HI
Hometown Spider Pro
ht://Dig
HTMLgobble
Hyper-Decontextualizer
iajaBot
5IBM_Planetwide
Popular Iconoclast
Ingrid
Imagelock
IncyWincy
Informant
InfoSeek Robot
Infoseek Sidewinder
InfoSpiders
Inspector Web
IntelliAgent = Агент Массада
Robot
Iron33
Israeli-search = Его помошник
JavaBee
JBot Java Web Robot
JCrawler
Jeeves
Jobot
JoeBot
The Jubii Indexing Robot
JumpStation
image.kapsi.net
Katipo
KDD-Explorer
Kilroy
KO_Yappo_Robot
LabelGrabber
larbin
legs
Link Validator
LinkScan
LinkWalker
Lockon
logo.gif Crawler
Lycos
Mac WWWWorm
Magpie
marvin
Mattie
MediaFox
MerzScope
NEC-MeshExplorer
MindCrawler
mnoGoSearch search engine software
moget
MOMspider
Monster
Motor
Muncher
Muninn
Muscat Ferret
Mwd.Search
Internet Shinchakubin
NDSpider
Nederland.zoek
NetCarta WebMap Engine
NetMechanic
NetScoop
newscan-online
NHSE Web Forager
Nomad
The NorthStar Robot
nzexplorer
ObjectsSearch
Occam
HKU WWW Octopus
OntoSpider
Openfind data gatherer
Orb Search
Pack Rat
PageBoy
ParaSite
Patric
pegasus
The Peregrinator
PerlCrawler
Phantom
PhpDig
PiltdownMan
Pioneer
html_analyzer
Portal Juice Spider
PGP Key Agent
PlumtreeWebAccessor
Poppi
PortalB Spider
psbot
GetterroboPlus Puu
The Python Robot
Raven Search
RBSE Spider
Resume Robot
RoadHouse Crawling System
RixBot
Robbie the Robot
ComputingSite Robi
RoboCrawl Spider
RoboFox
Robozilla
Roverbot
RuLeS
SafetyNet Robot
Scooter
Sleek
SearchProcess
Senrigan
SG-Scout
ShagSeeker
Shai’Hulud
Sift
Simmany Robot Ver
Site Valet
Open Text Index Robot
SiteTech-Rover
Skymob.com
SLCrawler
Inktomi Slurp
Smart Spider
Snooper
Solbot
Spanner
Speedy Spider
spider_monkey
SpiderBot
Spiderline Crawler
SpiderMan
SpiderView
Spry Wizard Robot
Site Searcher
Suke
suntek search engine
Sven
Sygol
TACH Black Widow
Tarantula
tarspider
Tcl W Robot
TechBOT
Templeton
TeomaTechnologies
TITAN
TitIn
The TkWWW Robot
TLSpider
UCSD Crawl
UdmSearch
UptimeBot
URL Check
URL Spider Pro
Valkyrie
Verticrawl
Victoria
vision-search
void-bot
Voyager
VWbot
The NWI Robot
WM
WallPaper
the World Wide Web Wanderer
WebBandit Web Spider
WebCatcher
WebCopy
webfetcher
The Webfoot Robot
Webinator
weblayers
WebLinker
WebMirror
The Web Moose
WebQuest
Digimarc MarcSpider
WebReaper
webs
Websnarf
WebSpider
WebVac
webwalk
WebWalker
WebWatch
Wget
whatUseek Winona
WhoWhere Robot
Wired Digital
Weblog Monitor
wmir
WebStolperer
The Web Wombat
The World Wide Web Worm
WWWC
WebZinger
XGET
Accelobot
Acoon-Robot 4.0.1Accelobot
Accelobotheritrix/1.12.0
Accoona-AI-Agent/1.1.1
Accoona-AI-Agent/1.1.2
Acoon-Robot 4.0.0RC2
Acoon-Robot 4.0.1
Acoon-Robot 4.0.2
Acorn/Nutch-0.9
adressendeutschland.de
AdsBot-Google
AdsBot-Google b
aipbot/1.0
aipbot/2-beta
Almaden
Almaden bc12
Almaden bc14
Almaden bc22
Almaden bc5
Almaden bc6
Almaden fc13
Almaden hc4
Amfibibot/0.07
appie 1.1
archive.org_bot/heritrix/1.13.1
ASAHA Search Engine Turkey V.001
ASAP-LynxViewer/1.0
ASAP-LynxViewer/1.0 b
ASAP-LynxViewer/1.1
ASAP-LynxViewer/1.2
ASAP-Web-Sniffer/1.0
ASAPlinkchecker/1.0
AsapLinkChecker/1.0 b
Ask Jeeves/Teoma
Ask Jeeves/Teoma - b
Ask Jeeves/Teoma - c
Ask Jeeves/Teoma - d
Baiduspider
Baiduspider b
BecomeBot/2.3
BecomeBot/2.3 b
BecomeBot/3.0
BecomeBot/3.0 b
Bigsearch.ca/Nutch-0.9-dev
Bigsearch.ca/Nutch-1.0-dev
Blaiz-Bee/2.00.5622
Blaiz-Bee/2.00.5655
Blaiz-Bee/2.00.6082
Blaiz-Bee/2.00.8315
boitho.com-dc/0.79
boitho.com-dc/0.83
boitho.com-dc/0.85
boitho.com-dc/0.86
btbot/0.4
BuzzRankingBot/1.0
CazoodleBot a
CazoodleBot b
CazoodleBot c
CazoodleBot d
CazoodleBot-0.1
ccubee/10.0
ccubee/2008
ccubee/3.2
ccubee/3.3
ccubee/3.5
ccubee/3.7
ccubee/4.0
ccubee/9.0
cfetch/1.0
ChangeDetection
changedetection/1.0
Charlotte/1.0b
City4you/1.3 Cesky
CJB.NET Proxy
CloakDetect/0.9
ClusoBotImage
ClusoBotImage/1.0
ClusoBotImage/1.0 b
ClusoBotOnline/1.0
ClusoBotOnline/1.0 b
Combine/3
ConveraCrawler 0.9d
ConveraCrawler 0.9e
ConveraMultiMediaCrawler/0.1
Crawllybot/0.1
Crawllybot/0.1 b
Crawllybot/0.1 c
csci_b659/0.13
DataFountains at Dmoz
DataFountains at Dmoz b
DataparkSearch/4.40
DAUMOA/1.0.0
DAUMOA/1.0.1
DAUMOA/1.0.1 b
del.icio.us-thumbnails/1.0
DepSpid
DepSpid/5.07
DepSpid/5.10
DepSpid/5.24
DepSpid/5.25
DepSpid/5.26
dev-spider2.searchpsider.com/1.3b
DuckDuckBot/1.0
e-SocietyRobot
EARTHCOM.info/1.98
EARTHCOM.info/1.99
EARTHCOM.info/2.01
EARTHCOM.info/2.03
EARTHCOM.info/2.05
EARTHCOM.info/2.06
EARTHCOM.info/2.07
EARTHCOM.info/2.09
EARTHCOM.info/2.1
EARTHCOM/2.2
EDI/1.6.5
EDI/1.6.6
EDI/1.6.6 b
egothor/11.0d
egothor/11.0d b
egothor/8.0f
egothor/8.0g
ejupiter.com
ejupiter.com 43
EnaBot/1.1
EnaBot/1.2
Enterprise_Search/1.00.143
envolk/1.7
envolk/1.7 b
envolk/1.7 c
envolk[ITS]spider/1.6
Exabot Test/3.0
Exabot-Images/1.0
Exabot-Images/3.0
Exabot-Test/1.0
Exabot/2.0
Exabot/3.0
Exabot/3.0 b
ExactSEEK
Factbot 1.09
FAST Enterprise Crawler 6 at virk.dk
FAST Enterprise Crawler/6
FAST Enterprise Crawler/6.4
FAST MetaWeb Crawler
favorstarbot/1.0
Feedster Crawler/3.0
Findexa Crawler
findlinks/0.966
findlinks/0.971
findlinks/0.973
findlinks/0.975
findlinks/0.976
findlinks/1.0
findlinks/1.0.8
findlinks/1.0.9
findlinks/1.0.9-a2
findlinks/1.01
findlinks/1.1
findlinks/1.1-a4
findlinks/1.1-a5
findlinks/1.1-a7
findlinks/1.1-a8
findlinks/1.1-a9
findlinks/1.1.1
findlinks/1.1.1-a1
findlinks/1.1.1-a2
findlinks/1.1.1-a5
findlinks/1.1.2-a2
findlinks/1.1.2-a3
findlinks/1.1.2-a4
findlinks/1.1.2-a5
findlinks/1.1.3-beta1
findlinks/1.1.3-beta2
findlinks/1.1.3-beta4
findlinks/1.1.3-beta6
findlinks/1.1.3-beta7
findlinks/1.1.3-beta8
findlinks/1.1.3-beta9
findlinks/1.1.4-beta1
flatlandbot
flatlandbot b
flatlandbot c
flatlandbot d
Forschungsportal/0.8-dev
Francis/2.0
FunnelBack
FurlBot/Furl Search 2.0
FyberSpider/1.2
g2crawler
Gaisbot/3.0
Gaisbot/3.0 - 06
Gallent Search Spider v1.4 Robot 3
genieBot a
genieBot b
Giant/1.0
Gigabot
Gigabot/1.0
Gigabot/2.0
Gigabot/2.0 - b
Gigabot/2.0 - c
Gigabot/2.0 - d
Gigabot/2.0 b
Gigabot/3.0
Girafabot
Girafabot b
Girafabot c
GOFORITBOT
GurujiBot/1.0
GurujiBot/1.0 b
HatenaScreenshot/1.0 (checker)
heeii/Nutch-0.9-dev at heeii.com
heritrix - webarchiv.cz_bot/1.12.1
heritrix at worio.com
heritrix/1.10.0 at worio.com
heritrix/1.10.1 at researcher.cz
heritrix/1.10.2 at i.stanford.edu
heritrix/1.10.2 at yacy.net
heritrix/1.10.2 at zvents.com
heritrix/1.12.1 at edu.org
heritrix/1.12.1 at netarkivet.dk
heritrix/1.12.1 at newstin.com
heritrix/1.12.1 at newtestbabes.com
heritrix/1.12.1 at page-store.com
heritrix/1.12.1 at page-store.com b
heritrix/1.12.1 at webarchiv.cz
heritrix/1.4.0 at webarchiv.cz
heritrix/1.6.0 at researcher.cz
heritrix/1.6.0 at webarchiv.cz
heritrix/1.6.0 at worio.com
heritrix/1.7.1 at netarkivet.dk
heritrix/1.7.3 at webarchiv.cz
heritrix/1.8.0 at crawlerx51.com
heritrix/1.8.0 at webarchiv.cz
heritrix/1.9.0 at webarchiv.cz
HiddenMarket-1.0-beta
hl_ftien_spider_v1.1
holmes/3.10 - morfeo
holmes/3.10.1 - onet.pl
holmes/3.11 - morfeo
holmes/3.11 - onet.pl
holmes/3.12 - morfeo
holmes/3.13 - morfeo
holmes/3.7 - morfeo
holmes/3.8 - morfeo
holmes/3.8 - morfeo B
holmes/3.9 - morfeo
holmes/3.9 - onet.pl
holmes/3.9 - onet.pl b
HooWWWer/2.1.3
HooWWWer/2.2.0
Yandex = бот Яндекса
Googlebot = бот Google
Yahoo Slurp = бот Яху
MSNBot = бот MSN
StackRambler = бот Рамблера
Webalta = бот Веб Альты
Часто на мои сайты ломятся боты с вот такими банальными именами именами. Причем второе это неправильный обратный перевод слова Паук.
spider
crawl
Большой аппетит имеют боты с вот такими именами Если вас не интересует китайский Yahoo! и память о ваше сайте в истории можно хорошо приберечь трафика для пользователей.
Alexa (IA Archiver)
The web archive (IA Archiver)
Yahoo! Slurp China
Подробнее о ботах Яндекса
* Yandex/1.01.001 (compatible; Win16; I) — главный индексирующий паук Яндекса
* Yandex/1.01.001 (compatible; Win16; P) — робот, который индексирует картинки
* Yandex/1.01.001 (compatible; Win16; H) — паук, определяющий зеркала сайтов. В народе робот-зекральщик
* Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий фавиконы - пиктограммы сайтов (favicons)
* Yandex/1.03.003 (compatible; Win16; D) — паук, обращающийся к странице при добавлении ее через форму «Добавить URL»(аддуэрелки). В народе - робот аддуэрельщик.
* Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
* YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса. Робот помогающий Яше колотить бабки )
* YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам. Он наверное эту страницу и сьест )
* YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей. Это еще в светлом будущем моего блога bajron.od.ua
* Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге. Робот ЯКи.
* Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
* Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
* Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
Теперь роботы поисковой системы Google
Googlebot-Image/1.0 = Как понятно из названия Качает картинки
Googlebot-Mobile/2.1 = Поиск для мобильных устройств
Googlebot/2.1 - a
Googlebot/2.1 - b
Googlebot/2.1 - c
Теперь все остальное огромное множество разнообразных роботов.
Netcraft
Cfetch
Ask
WISENutbot
ABCdatos BotLink
Acme.Spider
Ahoy! The Homepage Finder
Alkaline
Anthill
Walhello appie
Arachnophilia
Arale
Araneo
AraybOt
ArchitextSpider
Aretha
ARIADNE
arks
AskJeeves
ASpider
ATN Worldwide
Atomz.com Search Robot
AURESYS
BackRub
Bay Spider
BBot
Big Brother = Большой Брат следит за тобой. Я уже испугался ).
Bjaaland
BlackWidow = Черная вдова это интересное имя для паука.
Die Blinde Kuh = Робот-террорист и киллер )
Bloodhound
Borg-Bot
BoxSeaBot = Это бот, что боксирует в море?
bright.net caching robot
BSpider = еще одно незатейлевое имя
CACTVS Chemistry Spider
Calif
Cassandra = этого бота выгнали из Трои
Checkbot
ChristCrawler.com
churl
cIeNcIaFiCcIoN.nEt
Collective
Combine System
Conceptbot = ))))))
ConfuzzledBot
CoolBot = Фантазия так и плещет
XYLEME Robot
Internet Cruiser Robot
Cusco
CyberSpyder Link Test
CydralSpider
Desert Realm Spider
DeWeb(c) Katalog/Index
DienstSpider
Digger = НУ Это всем понятно
Digital Integrity Robot
Direct Hit Grabber
DNAbot
DownLoad Express
DragonBot
DWCP
e-collector
EbiNess
EIT Link Verifier Robot
ELFINBOT
Emacs-w3 Search Engine
ananzi
esculapio
Esther
Evliya Celebi
FastCrawler
Fluid Dynamics Search Engine robot
Felix IDE
FetchRover
fido
KIT-Fireball
Fish search
Fouineur
Robot Francoroute
Freecrawl
FunnelWeb
gammaSpider
gazz
GCreep
GetBot
GetURL
Golem = Из праги с пивом приходит
Griffon
Gromit
Northern Light Gulliver
Gulper Bot
HamBot = Хамит серверу и админам
Harvest = Преходит в Августе или начал сентября. И по осени цеплят считает
havIndex
HI
Hometown Spider Pro
ht://Dig
HTMLgobble
Hyper-Decontextualizer
iajaBot
5IBM_Planetwide
Popular Iconoclast
Ingrid
Imagelock
IncyWincy
Informant
InfoSeek Robot
Infoseek Sidewinder
InfoSpiders
Inspector Web
IntelliAgent = Агент Массада
Robot
Iron33
Israeli-search = Его помошник
JavaBee
JBot Java Web Robot
JCrawler
Jeeves
Jobot
JoeBot
The Jubii Indexing Robot
JumpStation
image.kapsi.net
Katipo
KDD-Explorer
Kilroy
KO_Yappo_Robot
LabelGrabber
larbin
legs
Link Validator
LinkScan
LinkWalker
Lockon
logo.gif Crawler
Lycos
Mac WWWWorm
Magpie
marvin
Mattie
MediaFox
MerzScope
NEC-MeshExplorer
MindCrawler
mnoGoSearch search engine software
moget
MOMspider
Monster
Motor
Muncher
Muninn
Muscat Ferret
Mwd.Search
Internet Shinchakubin
NDSpider
Nederland.zoek
NetCarta WebMap Engine
NetMechanic
NetScoop
newscan-online
NHSE Web Forager
Nomad
The NorthStar Robot
nzexplorer
ObjectsSearch
Occam
HKU WWW Octopus
OntoSpider
Openfind data gatherer
Orb Search
Pack Rat
PageBoy
ParaSite
Patric
pegasus
The Peregrinator
PerlCrawler
Phantom
PhpDig
PiltdownMan
Pioneer
html_analyzer
Portal Juice Spider
PGP Key Agent
PlumtreeWebAccessor
Poppi
PortalB Spider
psbot
GetterroboPlus Puu
The Python Robot
Raven Search
RBSE Spider
Resume Robot
RoadHouse Crawling System
RixBot
Robbie the Robot
ComputingSite Robi
RoboCrawl Spider
RoboFox
Robozilla
Roverbot
RuLeS
SafetyNet Robot
Scooter
Sleek
SearchProcess
Senrigan
SG-Scout
ShagSeeker
Shai’Hulud
Sift
Simmany Robot Ver
Site Valet
Open Text Index Robot
SiteTech-Rover
Skymob.com
SLCrawler
Inktomi Slurp
Smart Spider
Snooper
Solbot
Spanner
Speedy Spider
spider_monkey
SpiderBot
Spiderline Crawler
SpiderMan
SpiderView
Spry Wizard Robot
Site Searcher
Suke
suntek search engine
Sven
Sygol
TACH Black Widow
Tarantula
tarspider
Tcl W Robot
TechBOT
Templeton
TeomaTechnologies
TITAN
TitIn
The TkWWW Robot
TLSpider
UCSD Crawl
UdmSearch
UptimeBot
URL Check
URL Spider Pro
Valkyrie
Verticrawl
Victoria
vision-search
void-bot
Voyager
VWbot
The NWI Robot
WM
WallPaper
the World Wide Web Wanderer
WebBandit Web Spider
WebCatcher
WebCopy
webfetcher
The Webfoot Robot
Webinator
weblayers
WebLinker
WebMirror
The Web Moose
WebQuest
Digimarc MarcSpider
WebReaper
webs
Websnarf
WebSpider
WebVac
webwalk
WebWalker
WebWatch
Wget
whatUseek Winona
WhoWhere Robot
Wired Digital
Weblog Monitor
wmir
WebStolperer
The Web Wombat
The World Wide Web Worm
WWWC
WebZinger
XGET
Accelobot
Acoon-Robot 4.0.1Accelobot
Accelobotheritrix/1.12.0
Accoona-AI-Agent/1.1.1
Accoona-AI-Agent/1.1.2
Acoon-Robot 4.0.0RC2
Acoon-Robot 4.0.1
Acoon-Robot 4.0.2
Acorn/Nutch-0.9
adressendeutschland.de
AdsBot-Google
AdsBot-Google b
aipbot/1.0
aipbot/2-beta
Almaden
Almaden bc12
Almaden bc14
Almaden bc22
Almaden bc5
Almaden bc6
Almaden fc13
Almaden hc4
Amfibibot/0.07
appie 1.1
archive.org_bot/heritrix/1.13.1
ASAHA Search Engine Turkey V.001
ASAP-LynxViewer/1.0
ASAP-LynxViewer/1.0 b
ASAP-LynxViewer/1.1
ASAP-LynxViewer/1.2
ASAP-Web-Sniffer/1.0
ASAPlinkchecker/1.0
AsapLinkChecker/1.0 b
Ask Jeeves/Teoma
Ask Jeeves/Teoma - b
Ask Jeeves/Teoma - c
Ask Jeeves/Teoma - d
Baiduspider
Baiduspider b
BecomeBot/2.3
BecomeBot/2.3 b
BecomeBot/3.0
BecomeBot/3.0 b
Bigsearch.ca/Nutch-0.9-dev
Bigsearch.ca/Nutch-1.0-dev
Blaiz-Bee/2.00.5622
Blaiz-Bee/2.00.5655
Blaiz-Bee/2.00.6082
Blaiz-Bee/2.00.8315
boitho.com-dc/0.79
boitho.com-dc/0.83
boitho.com-dc/0.85
boitho.com-dc/0.86
btbot/0.4
BuzzRankingBot/1.0
CazoodleBot a
CazoodleBot b
CazoodleBot c
CazoodleBot d
CazoodleBot-0.1
ccubee/10.0
ccubee/2008
ccubee/3.2
ccubee/3.3
ccubee/3.5
ccubee/3.7
ccubee/4.0
ccubee/9.0
cfetch/1.0
ChangeDetection
changedetection/1.0
Charlotte/1.0b
City4you/1.3 Cesky
CJB.NET Proxy
CloakDetect/0.9
ClusoBotImage
ClusoBotImage/1.0
ClusoBotImage/1.0 b
ClusoBotOnline/1.0
ClusoBotOnline/1.0 b
Combine/3
ConveraCrawler 0.9d
ConveraCrawler 0.9e
ConveraMultiMediaCrawler/0.1
Crawllybot/0.1
Crawllybot/0.1 b
Crawllybot/0.1 c
csci_b659/0.13
DataFountains at Dmoz
DataFountains at Dmoz b
DataparkSearch/4.40
DAUMOA/1.0.0
DAUMOA/1.0.1
DAUMOA/1.0.1 b
del.icio.us-thumbnails/1.0
DepSpid
DepSpid/5.07
DepSpid/5.10
DepSpid/5.24
DepSpid/5.25
DepSpid/5.26
dev-spider2.searchpsider.com/1.3b
DuckDuckBot/1.0
e-SocietyRobot
EARTHCOM.info/1.98
EARTHCOM.info/1.99
EARTHCOM.info/2.01
EARTHCOM.info/2.03
EARTHCOM.info/2.05
EARTHCOM.info/2.06
EARTHCOM.info/2.07
EARTHCOM.info/2.09
EARTHCOM.info/2.1
EARTHCOM/2.2
EDI/1.6.5
EDI/1.6.6
EDI/1.6.6 b
egothor/11.0d
egothor/11.0d b
egothor/8.0f
egothor/8.0g
ejupiter.com
ejupiter.com 43
EnaBot/1.1
EnaBot/1.2
Enterprise_Search/1.00.143
envolk/1.7
envolk/1.7 b
envolk/1.7 c
envolk[ITS]spider/1.6
Exabot Test/3.0
Exabot-Images/1.0
Exabot-Images/3.0
Exabot-Test/1.0
Exabot/2.0
Exabot/3.0
Exabot/3.0 b
ExactSEEK
Factbot 1.09
FAST Enterprise Crawler 6 at virk.dk
FAST Enterprise Crawler/6
FAST Enterprise Crawler/6.4
FAST MetaWeb Crawler
favorstarbot/1.0
Feedster Crawler/3.0
Findexa Crawler
findlinks/0.966
findlinks/0.971
findlinks/0.973
findlinks/0.975
findlinks/0.976
findlinks/1.0
findlinks/1.0.8
findlinks/1.0.9
findlinks/1.0.9-a2
findlinks/1.01
findlinks/1.1
findlinks/1.1-a4
findlinks/1.1-a5
findlinks/1.1-a7
findlinks/1.1-a8
findlinks/1.1-a9
findlinks/1.1.1
findlinks/1.1.1-a1
findlinks/1.1.1-a2
findlinks/1.1.1-a5
findlinks/1.1.2-a2
findlinks/1.1.2-a3
findlinks/1.1.2-a4
findlinks/1.1.2-a5
findlinks/1.1.3-beta1
findlinks/1.1.3-beta2
findlinks/1.1.3-beta4
findlinks/1.1.3-beta6
findlinks/1.1.3-beta7
findlinks/1.1.3-beta8
findlinks/1.1.3-beta9
findlinks/1.1.4-beta1
flatlandbot
flatlandbot b
flatlandbot c
flatlandbot d
Forschungsportal/0.8-dev
Francis/2.0
FunnelBack
FurlBot/Furl Search 2.0
FyberSpider/1.2
g2crawler
Gaisbot/3.0
Gaisbot/3.0 - 06
Gallent Search Spider v1.4 Robot 3
genieBot a
genieBot b
Giant/1.0
Gigabot
Gigabot/1.0
Gigabot/2.0
Gigabot/2.0 - b
Gigabot/2.0 - c
Gigabot/2.0 - d
Gigabot/2.0 b
Gigabot/3.0
Girafabot
Girafabot b
Girafabot c
GOFORITBOT
GurujiBot/1.0
GurujiBot/1.0 b
HatenaScreenshot/1.0 (checker)
heeii/Nutch-0.9-dev at heeii.com
heritrix - webarchiv.cz_bot/1.12.1
heritrix at worio.com
heritrix/1.10.0 at worio.com
heritrix/1.10.1 at researcher.cz
heritrix/1.10.2 at i.stanford.edu
heritrix/1.10.2 at yacy.net
heritrix/1.10.2 at zvents.com
heritrix/1.12.1 at edu.org
heritrix/1.12.1 at netarkivet.dk
heritrix/1.12.1 at newstin.com
heritrix/1.12.1 at newtestbabes.com
heritrix/1.12.1 at page-store.com
heritrix/1.12.1 at page-store.com b
heritrix/1.12.1 at webarchiv.cz
heritrix/1.4.0 at webarchiv.cz
heritrix/1.6.0 at researcher.cz
heritrix/1.6.0 at webarchiv.cz
heritrix/1.6.0 at worio.com
heritrix/1.7.1 at netarkivet.dk
heritrix/1.7.3 at webarchiv.cz
heritrix/1.8.0 at crawlerx51.com
heritrix/1.8.0 at webarchiv.cz
heritrix/1.9.0 at webarchiv.cz
HiddenMarket-1.0-beta
hl_ftien_spider_v1.1
holmes/3.10 - morfeo
holmes/3.10.1 - onet.pl
holmes/3.11 - morfeo
holmes/3.11 - onet.pl
holmes/3.12 - morfeo
holmes/3.13 - morfeo
holmes/3.7 - morfeo
holmes/3.8 - morfeo
holmes/3.8 - morfeo B
holmes/3.9 - morfeo
holmes/3.9 - onet.pl
holmes/3.9 - onet.pl b
HooWWWer/2.1.3
HooWWWer/2.2.0