Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca

Dicas sobre: Robots, crawlers, bots, spiders e user-agentes.

Todo blogueiro que visa um lugarzinho à sombra, seja no Oráculo ou em algum de seus discípulos menos favorecidos, com certeza tem curiosidade para saber como funcionam os robots/spiders que varrem a web em busca de novos dados.

Como sou um curioso-nato, decidi pesquisar “how to create a spider robot for search engines” e imediatamente uma gigantesca lista de assuntos interessantes (e também descartáveis) pularam diante de meus olhos. Mas para um bom leigo nesse assunto, acho que o material encontrado foi bastante produtivo:

- Gerador online de Robots.txt: monte o seu próprio robots.txt de forma simples e rápida sem precisar entender praticamente nada;

- Como otimizar o seu Robots.txt: O Bruno Alves deu a dica e o retorno foi garantido. Saiba como configurar o seu robots.txt de forma que você ganhe várias posições nos mecanismos de busca e, conseqüentemente, também aumente suas visitas;

- Bot Simulator: Nada mais interessante que entender como os Spiders, Crawlers, Bots e User-Agents trabalham. Digite uma URL válida e veja em tempo real como eles administram os links internos, links externos, restrição para nofollow, restrição para robots.txt, URL’s externas etc;

Para maiores informações, confira também:

- Spiders na Web;
- Robots.txt na Wikipedia;
- Sitemap: colabore com os mecanismos de busca;

Compare Preços de: MP3 Player, iPod, iPhone, RBD La Familia, Box Heroes, Como Perder Peso, Emagreça com Saúde no Buscapé.

Por celsojunior

Tags: API, Adsense, Ajax, Análise, Apoio, Apple, Artigos, Beta, Blog, Blogging, Blogosfera, Browser, Desenvolvimento, Dicas, Firefox, Futuro, Google, Internet, Internet Explorer, Leitura, Links, Linux, Live, Mac, Metas, Microsoft, Open Source, Otimização, Protótipo, SEO, Segurança, Sistema Operacional, Software, Tableless, Tecnologia, Tubetorial, Tutoriais, Tutorial, Web, Web 2.0, Webstandards, Widgets