Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca

Dicas sobre: Robots, crawlers, bots, spiders e user-agentes.Todo blogueiro que visa um lugarzinho à sombra, seja no Oráculo ou em algum de seus discípulos menos favorecidos, com certeza tem curiosidade para saber como funcionam os robots/spiders que varrem a web em busca de novos dados.

Como sou um curioso-nato, decidi pesquisar “how to create a spider robot for search engines” e imediatamente uma gigantesca lista de assuntos interessantes (e também descartáveis) pularam diante de meus olhos. Mas para um bom leigo nesse assunto, acho que o material encontrado foi bastante produtivo:

Gerador online de Robots.txt: monte o seu próprio robots.txt de forma simples e rápida sem precisar entender praticamente nada;

Como otimizar o seu Robots.txt: O Bruno Alves deu a dica e o retorno foi garantido. Saiba como configurar o seu robots.txt de forma que você ganhe várias posições nos mecanismos de busca e, conseqüentemente, também aumente suas visitas;

Bot Simulator: Nada mais interessante que entender como os Spiders, Crawlers, Bots e User-Agents trabalham. Digite uma URL válida e veja em tempo real como eles administram os links internos, links externos, restrição para nofollow, restrição para robots.txt, URL’s externas etc;

Para maiores informações, confira também:

Spiders na Web;
Robots.txt na Wikipedia;
Sitemap: colabore com os mecanismos de busca;

7 comentários

  1. University Update – linux – Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca

    Publicado em 23/06/2007 às 15:44 [+]

    […] Link to Article linux Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de […]

  2. University Update – Google – Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca

    Publicado em 23/06/2007 às 15:55 [+]

    […] Link to Article google Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de […]

  3. Leo Baiano

    Publicado em 24/06/2007 às 13:49 [+]

    Bom os links, gostei especialmente do simulador, esta nos favoritos para estudo mais detalhado de todos os links.

  4. Bruno Alves

    Publicado em 25/06/2007 às 11:11 [+]

    O importante, é entender como funciona o robots, ele ajuda e muito.

    Estou testando novas instruções nele e em breve devo falar sobre alternativas para aquelas.

    Abraço

  5. Cordeiro Mau

    Publicado em 26/06/2007 às 20:22 [+]

    Puxa, muito interessante (e extenso) esse assunto.

    É possível tirar grande proveito dele.

    Até mais.

  6. Dicas e tutoriais SEO: aprenda como otimizar seu blog WordPress – celsojunior.net

    Publicado em 09/11/2007 às 11:33 [+]

    […] 5 – Entenda como os Robots e Spiders trabalham para os mecanismos de […]

  7. Google libera download do Guia Prático e Definitivo sobre SEO – celsojunior.net

    Publicado em 28/09/2010 às 19:45 [+]

    […] projeto pelo qual trabalha. Trocando em miudos, desde a otimização do conteúdo, passando pelos crawlers, robots e spiders, pela análise de estatísticas e, por fim, no SEO voltado para dispositivos móveis, tais como […]