Home | Shopping | Portfolio | deviantART | Jogos Online | Sobre | Contato


Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca


Dicas sobre: Robots, crawlers, bots, spiders e user-agentes.Todo blogueiro que visa um lugarzinho à sombra, seja no Oráculo ou em algum de seus discípulos menos favorecidos, com certeza tem curiosidade para saber como funcionam os robots/spiders que varrem a web em busca de novos dados.

Como sou um curioso-nato, decidi pesquisar “how to create a spider robot for search engines” e imediatamente uma gigantesca lista de assuntos interessantes (e também descartáveis) pularam diante de meus olhos. Mas para um bom leigo nesse assunto, acho que o material encontrado foi bastante produtivo:

- Gerador online de Robots.txt: monte o seu próprio robots.txt de forma simples e rápida sem precisar entender praticamente nada;

- Como otimizar o seu Robots.txt: O Bruno Alves deu a dica e o retorno foi garantido. Saiba como configurar o seu robots.txt de forma que você ganhe várias posições nos mecanismos de busca e, conseqüentemente, também aumente suas visitas;

- Bot Simulator: Nada mais interessante que entender como os Spiders, Crawlers, Bots e User-Agents trabalham. Digite uma URL válida e veja em tempo real como eles administram os links internos, links externos, restrição para nofollow, restrição para robots.txt, URL’s externas etc;

Para maiores informações, confira também:

- Spiders na Web;
- Robots.txt na Wikipedia;
- Sitemap: colabore com os mecanismos de busca;

Compare Preços de: MP3 Player, iPod, iPhone, RBD La Familia, Box Heroes, Como Perder Peso, Emagreça com Saúde no Buscapé.


6 Comentários

  1. Pingback por University Update - linux - Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca em June 23, 2007 3:44 pm

    [...] Link to Article linux Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de [...]

  2. Pingback por University Update - Google - Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca em June 23, 2007 3:55 pm

    [...] Link to Article google Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de [...]

  3. Comentado por Leo Baiano em June 24, 2007 1:49 pm

    Bom os links, gostei especialmente do simulador, esta nos favoritos para estudo mais detalhado de todos os links.

  4. Comentado por Bruno Alves em June 25, 2007 11:11 am

    O importante, é entender como funciona o robots, ele ajuda e muito.

    Estou testando novas instruções nele e em breve devo falar sobre alternativas para aquelas.

    Abraço

  5. Comentado por Cordeiro Mau em June 26, 2007 8:22 pm

    Puxa, muito interessante (e extenso) esse assunto.

    É possível tirar grande proveito dele.

    Até mais.

  6. Pingback por Dicas e tutoriais SEO: aprenda como otimizar seu blog WordPress - celsojunior.net em November 9, 2007 11:33 am

    [...] 5 - Entenda como os Robots e Spiders trabalham para os mecanismos de [...]

RSS dos comentários TrackBack Identifier URI

Deixe um comentário