Lo spider di un motore di ricerca, è tipicamente un ragno che scandaglia la ragnatela, il web.
Possono essere chiamati con diversi nomi, come robots, crewlers o bots, ma il significato del termine rimane quello.
Si possono riconoscere da un analisi dei file di log, oppure attraverso un buon software di statistiche web.
La lista di spiders che riporto di seguito, comprende i principali motori di ricerca, è utile per conoscere nuove informazioni riguardo ogni crawler di ogni diverso search engine:
- nome: Googlebot/2.1
- user agent: googlebot
- info: http://www.google.com/bot.html
- nome: Googlebot-Image/1.0
- user agent: googlebot
- info: http://www.google.com/bot.html
- nome: Slurp
- user agent: Mozilla/5.0 (compatible; yahoo! Slurp)
- info: http://help.yahoo.com/help/us/ysearch/slurp/index.html
- nome: msnbot/1.0
- user agent: Mozilla/5.0 (compatible; yahoo! Slurp)
- info: http://search.msn.it/docs/siteowner.aspx?t=SEAR…
Google, Yahoo! ed Msn fanno da padrone, ma gli spiders dei motori di ricerca in giro a spiderizzare il web non sono solamente questi.
Vi consiglio una risorsa unica per avere una lista completa degli spiders dei motori di ricerca, con molte informazioni per ogni crawler. Se trovate un nuovo spider che scandaglia le vostre pagine web, sapete dove cercare informazioni.
Commenti lasciati su questo articolo (nessun commento)
Vuoi lasciare il tuo commento? Clicca qui.