Assine a Lista Dicas-L
Receba diariamente por email as dicas
de informática publicadas neste site
Para se descadastrar, clique aqui.
Indexação de Sites - robots.txt
Colaboração: Rubens Queiroz de Almeida
Data de Publicação: 29 de Março de 2004
A maioria de nós deseja que o conteúdo de seu site seja indexado pelo Google, Altavista e outros mecanismos de busca.
Entretanto, para determinadas seções de nossos sites, isto pode não ser desejável. Como fazer para impedir que conteúdo reservado seja indexado?
A maioria dos softwares de indexação obedece a algumas convenções, entre elas a de respeitar as informações sobre o que pode ou não ser indexado, contidas em um arquivo chamado robots.txt e localizado no diretório raiz do servidor Web.
Este arquivo é bem simples (mas pode ficar complexo, dependendo das suas necessidades.
Um pequeno exemplo:
User-agent: * Disallow: /cgi-bin/ Disallow: /fotos/
O arquivo acima indica que nenhum indexador pode indexar o conteúdo dos diretórios /cgi-bin e /fotos.
A opção User-agent pode indicar apenas um determinado indexador. O indexador do Google, por exemplo, chama-se googlebot. Se o googlebot estiver visitando o seu site e ver algo como
User-agent: googlebot Disallow: /
nada será indexado.
Caso você crie um arquivo como este para o seu site e quiser ver se fez tudo corretamente, existe um serviço de validação de arquivos robots.txt em http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
Neste mesmo local, caso você queira saber mais, existem diversas informações adicionais sobre este protocolo e também alguns exemplos interessantes.
Veja a relação completa dos artigos de Rubens Queiroz de Almeida
Referências Adicionais
Referências adicionais sobre os assuntos abordados neste site podem ser encontradas em nossa Bibliografia.
Avalie esta dica
Opinião dos Leitores
13 Jan 2009, 01:26
Vou testar a dica!
Valeu!
11 Set 2008, 14:56
www.somudancasmg.com.br
10 Set 2008, 14:13
www.gamesflash.zip.net
05 Mar 2008, 19:55
24 Jan 2008, 14:31
tenho no meu
www.adrenalinamotoracing.com.br
04 Jan 2008, 09:26
http://www.directory.com.br
30 Dez 2007, 11:20
http://www.tecnoredes.com.br
12 Set 2007, 16:29
www.makelove.com.br
28 Jun 2007, 23:53
http://www.westnote.com.br/
16 Mai 2007, 15:22
Boa dica!
Abs
15 Abr 2007, 23:19
http://www.arquivojuridico.com
04 Jan 2007, 12:14
Visite:<br />
<a href="http://www.leolima77.com.br" target="_blank">www.leolima77.com.br</a><br />
<a href="http://buscador.leolima77.com.br" target="_blank">Buscador Leolima</a>
03 Jan 2007, 18:18
Para isto, basta acessar: http://www.marketingdebusca.com.br/robots-txt/
Grande abraço
04 Nov 2006, 22:47
muito boa a dica!
29 Set 2006, 19:13
20 Set 2006, 00:07
http://www.intergiro.com.br/












