Os robôs de buscas rastream normalmente milhões de novas páginas por dia, mas às vezes alguns conteúdos não podem ser rastreados pois as páginas não tem alguns parâmetros necessários como meta tags e outros.
Esses robôs tem seus trabalhos facilitados ou impedidos quando os mesmos acham um arquivo chamado robots.txt no diretório raiz do site. Eles lêem os parâmetros descritos nesse arquivo e indexam as páginas do site que não tem restrição.
Os principais robôs de busca são: Googlebot, Yahoo! Slurp, MSNBot, googlebot-image, yahoo-mmcrawler e psbot.
Como criar
Copie os dados das três linhas abaixo para um bloco de notas e salve como o nome robots.
User-agent: *
Disallow:
Disallow:
Observações importantes
- Salve o arquivo no diretório raiz do site;
- Se você quer restringuir um diretório ou pasta do seu site siga o exemplo para o disallow.
Ex:
Disallow: /Nova Pasta
Espero ter ajudado...
0 comentários:
Postar um comentário