Todo blogueiro que visa um lugarzinho à sombra, seja no Oráculo ou em algum de seus discípulos menos favorecidos, com certeza tem curiosidade para saber como funcionam os robots/spiders que varrem a web em busca de novos dados.
Como sou um curioso-nato, decidi pesquisar “how to create a spider robot for search engines” e imediatamente uma gigantesca lista de assuntos interessantes (e também descartáveis) pularam diante de meus olhos. Mas para um bom leigo nesse assunto, acho que o material encontrado foi bastante produtivo:
- Gerador online de Robots.txt: monte o seu próprio robots.txt de forma simples e rápida sem precisar entender praticamente nada;
- Como otimizar o seu Robots.txt: O Bruno Alves deu a dica e o retorno foi garantido. Saiba como configurar o seu robots.txt de forma que você ganhe várias posições nos mecanismos de busca e, conseqüentemente, também aumente suas visitas;
- Bot Simulator: Nada mais interessante que entender como os Spiders, Crawlers, Bots e User-Agents trabalham. Digite uma URL válida e veja em tempo real como eles administram os links internos, links externos, restrição para nofollow, restrição para robots.txt, URL’s externas etc;
Para maiores informações, confira também:
- Spiders na Web;
- Robots.txt na Wikipedia;
- Sitemap: colabore com os mecanismos de busca;
TOP10 super dicas e tutoriais para blogs e SEO
Conheça os melhores hacks para .htaccess e WordPress
Como instalar o WordPress no Mac OS X usando o MAMP (Apache, MySQL e PHP)
Tutorial WordPress: como otimizar e aumentar o desempenho do seu blog ou site
CPA Brasil: o melhor e mais lucrativo programa de afiliados do Brasil
Aprenda como criar uma conta no Twitter – TUTORIAL PASSO-A-PASSO
The Sims 3 Showtime Katy Perry completo com cheats, códigos e dicas
As melhores sugestões de presentes criativos para homens e mulheres
Promoção MasterCard Surpreenda Disney – Dicas para concorrer
O que significa as siglas CPC, CTR, CPM, RPM, CPA, CPL, CPS e CPD
Ivete Sangalo vs Claudia Leitte: Quem é a melhor cantora do Brasil?
University Update – linux – Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca
Publicado em 23/06/2007 às 15:44 [+]
[...] Link to Article linux Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de [...]
University Update – Google – Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de busca
Publicado em 23/06/2007 às 15:55 [+]
[...] Link to Article google Tutorial: entenda como os Robots e Spiders trabalham para os mecanismos de [...]
Leo Baiano
Publicado em 24/06/2007 às 13:49 [+]
Bom os links, gostei especialmente do simulador, esta nos favoritos para estudo mais detalhado de todos os links.
Bruno Alves
Publicado em 25/06/2007 às 11:11 [+]
O importante, é entender como funciona o robots, ele ajuda e muito.
Estou testando novas instruções nele e em breve devo falar sobre alternativas para aquelas.
Abraço
Cordeiro Mau
Publicado em 26/06/2007 às 20:22 [+]
Puxa, muito interessante (e extenso) esse assunto.
É possível tirar grande proveito dele.
Até mais.
Dicas e tutoriais SEO: aprenda como otimizar seu blog WordPress – celsojunior.net
Publicado em 09/11/2007 às 11:33 [+]
[...] 5 – Entenda como os Robots e Spiders trabalham para os mecanismos de [...]
Google libera download do Guia Prático e Definitivo sobre SEO – celsojunior.net
Publicado em 28/09/2010 às 19:45 [+]
[...] projeto pelo qual trabalha. Trocando em miudos, desde a otimização do conteúdo, passando pelos crawlers, robots e spiders, pela análise de estatísticas e, por fim, no SEO voltado para dispositivos móveis, tais como [...]