Você está aqui: Home  → Arquivo Dicas-L

 

Indexação de Sites - robots.txt

Colaboração: Rubens Queiroz de Almeida

Data de Publicação: 29 de Março de 2004

A maioria de nós deseja que o conteúdo de seu site seja indexado pelo Google, Altavista e outros mecanismos de busca.

Entretanto, para determinadas seções de nossos sites, isto pode não ser desejável. Como fazer para impedir que conteúdo reservado seja indexado?

A maioria dos softwares de indexação obedece a algumas convenções, entre elas a de respeitar as informações sobre o que pode ou não ser indexado, contidas em um arquivo chamado robots.txt e localizado no diretório raiz do servidor Web.

Este arquivo é bem simples (mas pode ficar complexo, dependendo das suas necessidades.

Um pequeno exemplo:

  User-agent: *
  Disallow: /cgi-bin/
  Disallow: /fotos/

O arquivo acima indica que nenhum indexador pode indexar o conteúdo dos diretórios /cgi-bin e /fotos.

A opção User-agent pode indicar apenas um determinado indexador. O indexador do Google, por exemplo, chama-se googlebot. Se o googlebot estiver visitando o seu site e ver algo como

  User-agent: googlebot
  Disallow: /

nada será indexado.

Caso você crie um arquivo como este para o seu site e quiser ver se fez tudo corretamente, existe um serviço de validação de arquivos robots.txt em http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

Neste mesmo local, caso você queira saber mais, existem diversas informações adicionais sobre este protocolo e também alguns exemplos interessantes.

Veja a relação completa dos artigos de Rubens Queiroz de Almeida

Referências Adicionais

Referências adicionais sobre os assuntos abordados neste site podem ser encontradas em nossa Bibliografia.

Avalie esta dica

Recomendar este artigo	Versão para impressão

Opinião dos Leitores

Deibson Albernas
05 Mar 2008, 19:55

muito bom vai me ajudar estou meio perdido ainda e gerencio 28 sites nao e mole nao obrigado e SUCESSO http://www.busqueconcurso.com

rodrigo
24 Jan 2008, 14:31

É uma dica util mesmo...
tenho no meu
www.adrenalinamotoracing.com.br

Márcio de Souza Almeida
04 Jan 2008, 09:26

Já tinha no meu site e estava procurando maiores informações.

http://www.directory.com.br

Rocha
30 Dez 2007, 11:20

Já tenho esse arquivo a tempos em meu site, desde quando comecei a trabalhar com SEO / MOB.

http://www.tecnoredes.com.br

Freitas
12 Set 2007, 16:29

MAravilha, acabei de colocar em meu site também.

www.makelove.com.br

West Notes
28 Jun 2007, 23:53

Esta dica foi pratica e eficiente.

http://www.westnote.com.br/

Marco
16 Mai 2007, 15:22

www.clubpremiere.com.br o maiorsite de shows da web brasileira.

Boa dica!

Abs

Júlio César Schincariol Filho
15 Abr 2007, 23:19

Boa Dica!
http://www.arquivojuridico.com

Leo Lima
04 Jan 2007, 12:14

Muito boa a dica...parabens

Visite:<br />
<a href="http://www.leolima77.com.br" target="_blank">www.leolima77.com.br</a><br />
<a href="http://buscador.leolima77.com.br" target="_blank">Buscador Leolima</a>

Paulo Rodrigo Teixeira
03 Jan 2007, 18:18

Existe um serviço online que gera o arquivo de robots com um clique.

Para isto, basta acessar: http://www.marketingdebusca.com.br/robots-txt/

Grande abraço

thiago machado
04 Nov 2006, 22:47

www.thiagomachado.com

muito boa a dica!

rogerio
29 Set 2006, 19:13

muito bom mesmo funciona

Maik
20 Set 2006, 00:07

muito bom, valeu pela dica, coloquei no meu website:
http://www.intergiro.com.br/

*Nome:
Email:
	Me notifique sobre novos comentários nessa pagina Oculte meu email
*Texto:
	Para publicar seu comentário, digite o código contido na imagem acima

Powered by Scriptsmill Comments Script