Colaboração: Giancarlo Rubio
O script abaixo serve para verificar como o google anda indexando suas paginas. O objetivo do script e preparar ao webalizer, o log do apache, de forma que ele possa ler apenas o que o Googlebot acessou.
Para instalar o webalizer, leia este excelente tutorial
Segue o script!
#!/bin/sh
#Elaborado por Giancarlo Rubio
#Melhorias/Sugestoes giancarlo.rubio dot pucpr.br
#11/04/2006
# Aqui chamamos more para concatenar todo
# seu log de acesso atente em mudar o diretorio
# /home/site/logs para o do seu site
# Utilizamos grep para Capturar a palavra Googlebot (assinatura do robo Google)
# Dizemos que a saida deve ser gerada a um novo arquivo!!
/usr/bin/more /home/site/logs/access_log \|
grep Googlebot> /home/site/livronet/access_log_google
#Crie um arquivo site_google.conf no caso informando aonde esta seu arquivo de log /usr/local/bin/webalizer -c /etc/webalizer/site_google.conf
Uma boa ideia seria colocar no crontab para executar diário ou como desejar. È uma maneira muito simples de descobrir como essa importante ferramenta trabalha em nosso servidores.