Logotipo Dicas-L, por Ricardo Burile

Busca

Visite também: UnderLinux ·  VivaOLinux ·  LinuxSecurity ·  NoticiasLinux ·  BR-Linux ·  SoftwareLivre.org ·  [mais]   
 

Aprenda inglês em casa

Baixe gratuitamente as duas primeiras aulas


 

Aprenda inglês em casa

Baixe gratuitamente as duas primeiras aulas

English for Reading and Listening

Receba por email, diariamente, mensagens contendo materiais para leitura e audição, incluindo arquivos no formato MP3 gravados por falantes nativos.

Saiba mais e faça sua inscrição

Red Bug

Você está aqui: Home  → Arquivo Dicas-L

 

Tempo Real Eventos - Mão na Massa XEN

Assine a Lista Dicas-L

Receba diariamente por email as dicas
de informática publicadas neste site
Para se descadastrar, clique aqui.

Publicar em del.icio.us

Indexação de Sites - robots.txt

Colaboração: Rubens Queiroz de Almeida

Data de Publicação: 29 de Março de 2004

A maioria de nós deseja que o conteúdo de seu site seja indexado pelo Google, Altavista e outros mecanismos de busca.

Entretanto, para determinadas seções de nossos sites, isto pode não ser desejável. Como fazer para impedir que conteúdo reservado seja indexado?

A maioria dos softwares de indexação obedece a algumas convenções, entre elas a de respeitar as informações sobre o que pode ou não ser indexado, contidas em um arquivo chamado robots.txt e localizado no diretório raiz do servidor Web.

Este arquivo é bem simples (mas pode ficar complexo, dependendo das suas necessidades.

Um pequeno exemplo:

  User-agent: *
  Disallow: /cgi-bin/
  Disallow: /fotos/

O arquivo acima indica que nenhum indexador pode indexar o conteúdo dos diretórios /cgi-bin e /fotos.

A opção User-agent pode indicar apenas um determinado indexador. O indexador do Google, por exemplo, chama-se googlebot. Se o googlebot estiver visitando o seu site e ver algo como

  User-agent: googlebot
  Disallow: /

nada será indexado.

Caso você crie um arquivo como este para o seu site e quiser ver se fez tudo corretamente, existe um serviço de validação de arquivos robots.txt em http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

Neste mesmo local, caso você queira saber mais, existem diversas informações adicionais sobre este protocolo e também alguns exemplos interessantes.

Veja a relação completa dos artigos de Rubens Queiroz de Almeida

Referências Adicionais

Referências adicionais sobre os assuntos abordados neste site podem ser encontradas em nossa Bibliografia.

Avalie esta dica

  • Currently 3.08/5
  • 1
  • 2
  • 3
  • 4
  • 5

Avaliação: 3.1 /5 (306 votos)

Recomende este site
Recomendar este artigo


Versão para impressão


Opinião dos Leitores

Deibson Albernas
05 Mar 2008, 19:55
muito bom vai me ajudar estou meio perdido ainda e gerencio 28 sites nao e mole nao obrigado e SUCESSO http://www.busqueconcurso.com
rodrigo
24 Jan 2008, 14:31
É uma dica util mesmo...
tenho no meu
www.adrenalinamotoracing.com.br
Márcio de Souza Almeida
04 Jan 2008, 09:26
Já tinha no meu site e estava procurando maiores informações.

http://www.directory.com.br
Rocha
30 Dez 2007, 11:20
Já tenho esse arquivo a tempos em meu site, desde quando comecei a trabalhar com SEO / MOB.

http://www.tecnoredes.com.br
Freitas
12 Set 2007, 16:29
MAravilha, acabei de colocar em meu site também.

www.makelove.com.br
West Notes
28 Jun 2007, 23:53
Esta dica foi pratica e eficiente.

http://www.westnote.com.br/
Marco
16 Mai 2007, 15:22
www.clubpremiere.com.br o maiorsite de shows da web brasileira.

Boa dica!

Abs
Júlio César Schincariol Filho
15 Abr 2007, 23:19
Boa Dica!
http://www.arquivojuridico.com
Leo Lima
04 Jan 2007, 12:14
Muito boa a dica...parabens

Visite:<br />
<a href="http://www.leolima77.com.br" target="_blank">www.leolima77.com.br</a><br />
<a href="http://buscador.leolima77.com.br" target="_blank">Buscador Leolima</a>
Paulo Rodrigo Teixeira
03 Jan 2007, 18:18
Existe um serviço online que gera o arquivo de robots com um clique.

Para isto, basta acessar: http://www.marketingdebusca.com.br/robots-txt/

Grande abraço
thiago machado
04 Nov 2006, 22:47
www.thiagomachado.com

muito boa a dica!
rogerio
29 Set 2006, 19:13
muito bom mesmo funciona
Maik
20 Set 2006, 00:07
muito bom, valeu pela dica, coloquei no meu website:
http://www.intergiro.com.br/
*Nome:
Email:
Me notifique sobre novos comentários nessa pagina
Oculte meu email
*Texto:
 
  Para publicar seu comentário, digite o código contido na imagem acima
 


Powered by Scriptsmill Comments Script

Tempo Real Eventos - VOIP - Palestra na Íntegra
Protótipo de relógio de ponto e despertador utilizando Asterisk
Saiba mais

Biblioteca

Hardware PC: Guia de Aprendizagem Rápida
Por Carlos E. Morimoto

Sistemas de Banco de Dados
Por Ramez E. Elmasri e Shamkant Navathe

Redes de Computadores: Curso Completo
Por Gabriel Torres

UML: uma Abordagem Prática
Por Gilleanes T. A. Guedes

MySQL - Guia do Programador
Por André Milani

Marley e Eu: a Vida e o Amor ao Lado do Pior Cão do Mundo
Por John Grogan

Redes de Computadores
Por Andrew S. Tanembaum

SQL: Curso Prático
Por Celso H. Poderoso de Oliveira

Google Hacking
Por JOHNNY LONG

Criptografia em Software e Hardware
Por Edward David Moreno, Fabio Dacencio Pereira e Rodolfo Barros Chiaramonte

Use a Cabeça!: JSP & Servlets
Por Brian Bashan, Kathy Sierra, Bert Bates

Harry Potter e as Relíquias da Morte
Por J.K. Rowling

Manual Completo do Linux: Guia do Administrador
Por Evi Nemeth, Trent R. Hein, Garth Snyder

Elite da Tropa
Por Luis Eduardo Soares, Andre Batista e Rodrigo Pimentel

Marley e Eu: a Vida e o Amor ao Lado do Pior Cão do Mundo
Por John Grogan

UML: Guia do Usuário
Por Grady Booch, James Rumbaugh e Ivar Jacobson

Deus, um delírio
Por Richard Dawkins

OpenGL: uma Abordagem Prática e Objetiva
Por Marcelo Cohen, Isabel Harb Manssour

Engenharia de Software
Por Roger S. Pressman

Upgrade e Manutenção de Hardware
Por Carlos E. Morimoto