Como usar o Wget para baixar qualquer coisa da Internet

Wget é um utilitário de linha de comando que pode ser usado para baixar quase tudo disponível na internet. O problema é que ele deve estar disponível nos protocolos HTTP, HTTPS ou FTP; caso contrário, o Wget não poderá baixá-lo. Existem várias maneiras de usar o Wget, por exemplo, você pode usar o Wget para baixar todas as imagens em um site ou baixar um único arquivo também. O Wget é ainda capaz de retomar downloads, quando possível. Então, se você está se perguntando como o Wget funciona e o que ele pode fazer por você, aqui está como usar o Wget:

Instalando o Wget

1. Instalando o Wget no macOS Sierra

Antes de começarmos a usar o Wget, precisaremos instalá-lo em nosso sistema. Agora, felizmente, a maioria das distribuições Linux vem com o Wget pré-instalado, então você não terá que fazer nenhum trabalho adicional. No entanto, se você estiver em um Mac, precisará instalar o Wget. Isso pode ser feito facilmente usando o Homebrew (download). Se precisar de ajuda, aqui estão as etapas que você precisará seguir:

  • Primeiro, você terá que instalar o Homebrew no seu Mac, para poder baixar o Wget. Para fazer isso, basta iniciar o Terminale digite o seguinte comando:
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

instalar homebrew no mac passo um

  • Após a conclusão do comando, Homebrew será instalado em seu sistema. Agora você pode usar o Homebrew para instalar pacotes, como o Wget. No Terminal, basta executar o seguinte comando:
brew install wget

instalar wget no mac com homebrew

  • Homebrew iniciará automaticamente baixando, descompactando e instalando o Wget em seu sistema. Esta etapa pode levar algum tempo, dependendo da velocidade da sua rede, portanto, seja paciente. Depois que o comando for concluído, você poderá usar o Wget no seu Mac. Para verificar se ele foi instalado, basta usar o comando:
wget -V

verifique a instalação do wget

2. Instalando o Wget no Windows

Instalar o Wget no Windows exige um pouco mais de esforço, mas pode ser feito facilmente. Se você deseja instalar o Wget no seu PC Windows, basta seguir os passos abaixo:

  • Primeiro, baixe o Cygwin e depois execute o arquivo de configuração baixado.
  • Quando ele pedir a fonte de download padrão, escolha a opção que diz “Instalar da Internet“, e clique em “Próximo”.

instalar da internet

  • Escolha um diretório de instalação para Cygwin, bem como um diretório onde salvará arquivos de pacotes para instalação de utilitários.

diretório de instalação

  • Na próxima tela, você deve selecionar sua conexão com a Internet. Se estiver usando um Proxy, escolha o tipo de Proxy e preencha os detalhes. Para a maioria dos usuários, porém, a escolha seria “Conexão direta“.

conexão direta

  • Em seguida, ser-lhe-á mostrado um lista de espelhos, escolha qualquer um deles para baixar o Cygwin. Se o download falhar, você pode tentar novamente com um espelho diferente.

escolha espelho

  • Na janela seguinte, procure “wget”, e clique no mais ao lado “rede” na lista que aparece. Aqui, a caixa de seleção ao lado de “wget” será selecionado automaticamente. Basta clicar em “Próximo”.

procure por wget

  • A próxima tela mostrará os pacotes que você precisa baixar. Basta clicar “Próximo”.

dependências a seguir

  • Quando a instalação estiver concluída, você será perguntado se deseja criar um ícone na área de trabalhoe/ou adicionar um entrada no menu iniciar. Isso é completamente uma questão de preferência pessoal, mas sugiro que você pelo menos o adicione ao menu Iniciar, para que possa encontrá-lo facilmente.

Criar ícone na área de trabalho

É isso. O Wget agora está instalado no seu PC com Windows. No entanto, você não poderá executá-lo no prompt de comando. Em vez disso, você terá que inicie o Terminal Cygwin e use o Wget de lá.

Como usar o Wget

Agora que temos o Wget funcionando em nosso sistema, vamos explorar todas as maneiras legais de usar o Wget para baixar arquivos, pastas e até sites inteiros da Internet. Aqui estão algumas coisas interessantes que você pode fazer com o Wget em seu sistema.

Observação: Estou usando o Wget em um MacBook Air executando o macOS Sierra 10.12.3 beta. No entanto, como o utilitário que estamos usando é o mesmo (Wget), os comandos serão os mesmos em qualquer sistema operacional em que você esteja usando o Wget.

1. Use o Wget para baixar arquivos

Você pode usar o Wget para baixar arquivos da Internet com facilidade. Basta usar o seguinte comando

wget <url>

use wget para baixar arquivos

  • Baixe um arquivo e salve-o com um nome de arquivo específico

Os arquivos nos servidores às vezes têm os nomes mais estranhos, e você pode querer baixar o arquivo e fazer com que o Wget o renomeie automaticamente para algo que faça mais sentido para você. Para isso, basta usar o seguinte comando

wget -o <output_file.extension> <url_to_download>

use wget para baixar arquivos e salve com o nome do arquivo

  • Baixar apenas tipos de arquivos específicos

Um servidor web pode hospedar vários arquivos diferentes. Então, e se você quiser apenas baixar todos os PDFs no servidor ou talvez todos os GIFs? Basta usar o seguinte comando:

wget -r -A pdf <url_to_download>

use wget para baixar tipos de arquivos específicos

Esse comando em particular foi usado por Mark Zuckerberg em seu dormitório em Harvard, para baixar todas as imagens com apenas um comando e construir o infame site “facesmash.com”.

wget -r -A jpg, jpeg, png, bmp <url_to_download>

use wget para baixar vários tipos de arquivos com lista de aceitação

2. Baixe arquivos de vários URLs com Wget

Digamos que você precise baixar arquivos de vários locais diferentes na Internet. Pode haver um arquivo PDF em url1um importante arquivo ZIP na url2e outra coisa na url3. Se você usou o Wget da maneira tradicional, terá que executá-lo três vezes. No entanto, existe uma maneira muito mais fácil de fazer isso.

  • Primeiro, crie um arquivo com todos os URLs dos quais você precisa baixar os dados. Assegure-se de que você mantenha cada URL em sua própria linha. Salve o arquivo e lembre-se do nome.

arquivo com urls

  • No Terminal, use o seguinte comando para baixar arquivos de todas as URLs:
wget -i <file_name>

use arquivo externo para especificar urls

Onde “nome do arquivoé o nome do arquivo que você criou com todas as URLs você precisava baixar coisas de.

3. Baixe um site inteiro com o Wget

Sim, você leu certo. Você também pode usar o Wget para baixar o conteúdo de um site inteiro. Obviamente, se o site for muito grande, esse comando levará muito tempo para ser concluído, sem contar que consumirá muito espaço em seu sistema. Dito isso, se você quiser usar o Wget para baixar um site inteiro, basta usar o seguinte comando:

wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL

baixar site inteiro com wget

Isso fará o download de todo o site, em uma pasta “LOCAL-DIR” dentro do seu diretório de trabalho. Os arquivos do site serão armazenados em uma pasta com o mesmo nome do site, graças a “URL DO SITE“.

4. Use o Wget como um Web Spider

Você também pode fazer o Wget agir como um rastreador da web (ou uma aranha da web). Isso é útil quando você quer confirme se o URL do arquivo que você deseja baixar é válido. Para usar o Wget como web spider e verificar a validade das URLs, basta usar o seguinte comando:

wget --spider <url>

use wget como aranha

Isso verificará se o URL que você mencionou existe e você receberá uma resposta informando os resultados da verificação.

resposta positiva

resposta negativa

5. Continuar downloads incompletos

Esta é outra coisa muito legal que o Wget pode fazer. Digamos que você estava baixando um arquivo com o Wget, mas por algum motivo, você teve que desligar seu laptop. A próxima vez que você quiser tentar baixar o mesmo arquivo, o Wget pode realmente continuar o download para voce. Você só tem de verifique se você está na mesma pasta em que estava baixando o arquivo da última veze, em seguida, use o seguinte comando:

wget -c <url>

continuar o download

Quando o Wget vê que uma parte do arquivo já está presente em seu sistema, ele continuará o download automaticamente.

Observação: Se o arquivo no servidor foi alterado desde a última vez que você tentou baixá-lo, você não deve usar este comando, pois resultará em um arquivo corrompido que você não poderá ler.

Além disso, se o servidor não permitir downloads contínuos, o Wget se recusará a iniciar o download do zero. Se você deseja iniciar o download do zero, terá que excluir o arquivo parcialmente baixado do seu sistemaprimeiro.

Existem mais algumas condições para usar esse argumento, e você pode ler mais sobre isso na página de manual do Wget.

6. Limite a velocidade de download

Se você estiver usando o Wget para baixar arquivos e navegar na Internet ao lado dele, provavelmente não desejará que toda a sua largura de banda seja usada pelo Wget. Felizmente, o Wget inclui um argumento que você pode usar para limitar a quantidade de largura de banda que o Wget pode usar para baixar arquivos em seu sistema:

wget --limit-rate=<speed> <url>

limitar a velocidade de download

Observação: Tenha em mente que a velocidade é mencionada em Bytes, e não em Bits. Portanto, se você usar Wget –limit-rate=20k, ele limitará o uso da largura de banda a 20 kB e não a 20 kb.

7. Use o Wget para baixar arquivos de servidores FTP

Se você precisar baixar um arquivo de um servidor FTP, também poderá fazer isso com o Wget. Basta usar o seguinte comando para baixar arquivos de servidores FTP:

wget <ftp_url>

wget ftp

  • Baixe arquivos de servidores FTP com Login

SE o seu servidor FTP requer um login para permitir o download de arquivos, você pode simplesmente passar as credenciais com o Wget também. Basta usar o seguinte comando:

wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>

autenticação ftp wget

VEJA TAMBÉM: 30 comandos de terminal do Mac para acessar recursos ocultos

Use facilmente o Wget para baixar arquivos da Internet

Você pode usar o Wget para baixar arquivos de qualquer lugar na internet. No entanto, embora o Wget quase sempre funcione, existem certos servidores que impedem o acesso ao Wget; nesse caso, você pode tentar alterar o –user-agent para o seu comando Wget. No entanto, esse não é um curso de ação recomendado, a menos que você saiba absolutamente o que está fazendo. Na maioria das vezes, o Wget permite baixar qualquer arquivo da Internet, desde que você tenha acesso a ele e sua URL.

E aí, você já usou o Wget para baixar arquivos da internet? Deixe-nos saber sobre sua experiência com o uso do Wget para baixar arquivos, através dos protocolos HTTP, HTTPS e FTP. Além disso, se você souber de alguns outros usos do Wget que você acha que merecem estar nesta lista, informe-nos sobre eles na seção de comentários abaixo.

Leave a Comment

Your email address will not be published.