Coleta de dados da Web [RESOLVIDO]

1. Coleta de dados da Web [RESOLVIDO]

BrunoMR
(usa Debian)

Enviado em 20/04/2017 - 16:25h

Olá,

Que linguagem de programação vocês usam para desenvolver software de coleta de dados públicos da WEB?
Alguém usa shell Script? No linux há algum comando que retorne a página web?, não sendo o wget.

Desde já, agradeço.

0 0

Quote

2. MELHOR RESPOSTA

dark777
(usa Debian)

Enviado em 15/07/2017 - 04:47h

nao tem uma especifica vc pode fazer isso em C,C++, PHP, Python, Ruby, Perl, pode usar comandos dos sistemas operacionais em conjunto com as linguagens e por ai vai... depende muito dos seus objetivos e para que plataforma vc vai desenvolver o script eu recomendaria vc usar C,Python,Perl e Ruby puro.....

vc pode usar o lynix

1 0

Quote

3. Re: Coleta de dados da Web [RESOLVIDO]

phoemur
(usa Debian)

Enviado em 15/07/2017 - 13:49h

Você também pode usar o curl, que é um comando baseado na libcurl do C e que é muito poderosa. Veja a documentação.

Agora na minha experiência Web Scraping ultimamente tem se tornado meio complicado pelo fato de grande parte das páginas implementarem a exibição de conteúdo dinâmico via AJAX, de forma que você teria que usar uma ferramenta que entenda javascript para poder receber o conteúdo. Quase que um browser completo mesmo.
As soluções mais básicas só funcionam com html puro.
A minha opção foi utilizar Python e tem me atendido a contento, porém é uma questão de preferência pessoal...

2 0

Quote