Baixando sites recursivamente

Publicado por Fábio Berbert de Paula em 04/11/2002

[ Hits: 18.856 ]

Blog: https://fabio.automatizando.dev

 


Baixando sites recursivamente



Sem sombra de dúvidas, a ferramenta mais poderosa e eficaz para downloads em geral no Linux é o wget. Nessa dica, vamos ver a sintaxe usada para baixar sites recursivamente usando-se o wget.

Vamos supor que queremos baixar todo o conteúdo do site www.vivaolinux.com.br para posterior leitura, em modo off-line:

# wget -r http://www.vivaolinux.com.br

Podemos sermos ainda mais específicos:

# wget -c -t70 -r -10 -np http://www.vivaolinux.com.br

Onde:

-c: continua o download a partir do ponto que parou
-t70: se o wget não conseguir se comunicar com o servidor do site em 70 segundos, tenta novamente
-r: baixar recursivamente
-10 nível de recursividade (10 = infinito)
-np: não suba para outros diretórios (e.g.: cd ../)

Seja cauteloso com a opção -r do wget. Se você tentar baixar o site www.uol.com.br, com certeza perderá boa parte de sua vida tentando concluir o download.

Atenciosamente,
Fábio Berbert de Paula
fabio@vivaolinux.com.br
Outras dicas deste autor

Remover tags HTML com SED

Python - capturar a saída do programa em um arquivo ou variável

Capturando os últimos artigos do VivaoLinux

Listar processos por consumo de memória

Conheça o comando look

Leitura recomendada

Compartilhador de arquivos Torrents com internet 3G

Integrando autenticação do Squid com Active Directory

Twitter no pidgin

Internet Banking da Caixa no Fedora

Cuil - Novo serviço de busca

  

Comentários
[1] Comentário enviado por stavale em 16/04/2004 - 08:45h

Muito boa essa dica do wget, mas ainda nao sei como baixar so algumas extensoes
do como por exemplo, os *.bin da grisoft .

[2] Comentário enviado por antraz em 06/05/2005 - 04:49h

Eu gostei mas tem como baixa os arguivos tambem.
http://www.larainfor.com.br

[3] Comentário enviado por gryphonjp em 06/08/2009 - 12:13h

excelente. Eu precisava justamente da opção -np

[4] Comentário enviado por fanjos em 18/02/2014 - 15:29h

Interessante, mas fica uma dúvida. Depois do -r vem o -10, não seria -l0 ( letra 'L' + 0 )?



Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts