Assine a Lista Dicas-L
Receba diariamente por email as dicas
de informática publicadas neste site
Para se descadastrar, clique aqui.
Obtenção de URLs de um documento
Colaboração: Rubens Queiroz de Almeida
Data de Publicação: 02 de Dezembro de 1999
Frequentemente eu me vejo na necessidade de fazer o download de documentos referenciados em outros documentos. Ou seja, eu preciso obter para download todos os documentos referenciados em uma página html.
Uma aplicação que faz isto muito bem é o lynx, o browser Web orientado a caracter. A primeira coisa a fazer é salvar a página original, que contém os links desejados:
lynx -dump http://www.dicas-l.com.br/hotlinks/Linux/index.html > idx.html
Eu estou fazendo neste caso o download da página de hotlinks sobre Linux da Dicas-L. Está página contém vários links de documentos que me interessam. O lynx gera, no final do arquivo criado uma lista de referências a todas as URLs encontradas no documento:
References
1. http://www.unicamp.br/ibest2000.html
2. http://www.dicas-l.com.br/
3. http://www.dicas-l.com.br/hotlinks/index.html
...
Primeiramente removo todas as linhas acima das referências e em seguida faço uma análise dos links desejados, removo a numeração no início da linha. Em seguida, através de um simples shell script, crio um arquivo contendo todos os documentos que me interessam:
#!/bin/sh for url in ""cat idx.html"" do lynx -dump $url >> linux.txt done
Todos os documentos são gravados, um após o outro, no arquivo linux.txt. Basta imprimir então e levar para ler onde lhe convier.
É claro que este método salva as páginas Web em formato texto, mas neste caso o que interessa é o conteúdo, certo?
Certamente existem várias outras formas de se fazer isto, possivelmente até mais simples. Sou todo ouvidos ;-)
Referências Adicionais
Referências adicionais sobre os assuntos abordados neste site podem ser encontradas em nossa Bibliografia.
