Criar gráficos, estatística da "Google-Scholar" usando wget
Publicado por Iago Lira (última atualização em 16/10/2017)
[ Hits: 3.750 ]
Homepage: https://notabug.org/iagolira/
Download 6714.scholar-search.sh
Você que é pesquisador já tentou gerar um gráfico do número de publicações vs data etc, mas ficou limitado por ferramentas pagas de terceiros?
Seus problemas acabaram! Esse script gera um gráfico do número de publicações de determinado assunto pelo ano de publicação. No futuro irei implementar mais funcionalidades, mas você está livre para pegar o script e melhorá-lo.
Observações:
Quando executei o script pela primeira vez, este funcionou de boa, mas quando executei várias vezes seguidas o "wget" retornou o erro 302. Consegui superar esse erro fazendo o seguinte:
1) Editar o arquivo: nano ~/.wgetrc;
2) Inserir o seguinte conteúdo em ~/.wgetrc:
header=authority:scholar.google.com
header=method:GET
header=scheme:https
header=accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
header=accept-language:pt-BR,pt;q=0.8,en;q=0.6,fr;q=0.4,gl;q=0.2,am;q=0.2,el;q=0.2,he;q=0.2
header=cache-control:max-age=0
header=cookie:SID=JgUiFjPvG5tQOvfOPhEOSBGIgINeH92h6SeG9xgOXSK-7ob0-LqpYrfnzJ4RR-eXwbqxzA.; HSID=AJixidx0AB6RcyN2E; SSID=A5UZreCHfbfZQL6a$
header=dnt:1
header=upgrade-insecure-requests:1
header=user-agent:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36
header=x-chrome-uma-enabled:1
header=x-client-data:CJG2yQEIo7bJAQj6nMoBCKmdygEI0p3KAQ==
3) Ctrl+o (para salvar) e Ctrl+x (para sair do editor);
4) Pronto, agora é só executar o script e ser feliz.
Você deve está curioso de onde tirei o conteúdo inserido no "~/.wgetrc", né? Pois bem, para saber fazer com outros sites é só entrar pelo google chrome, acessar a página e pressionar a tecla F12, clicar em network, pressionar F5 e clicar num dos links. Por último, vá até "Request Headers" e compare com o conteúdo inserido em "~/.wgetrc". Ia esquendo, não precisa inserir "referer" em "~/.wgetrc", já fiz isso no script. Não irei me aprofundar nisso.
Espero que gostem.
#+---------------------------------------+ #|Programa: scholar-search | #|Autor: Francisco Iago Lira Passos | #|Função: Pesquisar e fazer estatísticas | #| das mesma usando o mecanismo | #| da Google Search | #|Data: 10-09-2017 | #+---------------------------------------+ #!/bin/bash export object=$1 export ylo=$2 export yhi=$3 function capture (){ name=$(echo $object | sed 's/+/-/g') echo '' > grafico-$name-pubsVsAnos.dat for (( i=$ylo; i<=$yhi; i++ )) do rm -f scholar?q=* link="https://scholar.google.com/scholar?q=$object&hl=en&as_sdt=0%2C5&as_ylo=$i&as_yhi=$i" sublink="/scholar?q=$object&hl=en&as_sdt=0%2C5&as_ylo=$i&as_yhi=$i" wget $link --referer=$link filename="scholar?q=$object&hl=en&as_sdt=0%2C5&as_ylo=$i&as_yhi=$i" pubs=`cat $filename | sed 's/About/\n/g' | sed '/results/!d; s/results.*//g; s/ \|,//g'` clear echo $i" "$pubs >> grafico-$name-pubsVsAnos.dat done exit 0 } if [ "$1" == "" ] || [ "$2" == "" ] || [ "$3" == "" ]; then clear echo " +--------------------------------------------------+ | Para ter uma boa experiência com o script | | Recomendamos que siga conforme o exemplo: | |==================================================| | ./scholar-search.sh forensic+computing 1991 2017 | | ./scholar-search.sh carbon+nanotubes 1991 2017 | |==================================================| | Obs: Não esqueça de separar com '+'! | +--------------------------------------------------+" else capture fi
Baixa os pacotes de uma determinada versão do Slackware para posterior atualizaçao
Configuração de failover de links de internet
Script para modificar Encoding de UTF-8 para ISO-8859-1
Claro 3g Sony Ericsson md300 script conexao - Revisado
Atenção a quem posta conteúdo de dicas, scripts e tal (6)
Como Configurar um Túnel SSH Reverso para Acessar Sua Máquina Local a Partir de uma Máquina Remota
Configuração para desligamento automatizado de Computadores em um Ambiente Comercial
O mínimo que você precisa saber sobre o terminal (parte 2)
O mínimo que você precisa saber sobre o terminal (parte 1)
Como iniciar uma máquina virtual do VirtualBox automaticamente no boot do LUbuntu 18 LTS
Flatpak: remover runtimes não usados e pacotes
Mudar o gerenciador de login (GDM para SDDM e vice-versa) - parte 2
Como deixar as abas do Firefox mais fininhas
Mudar o gerenciador de login (GDM para SDDM)
"Tentando" fazer com que programas rodem no Wayland e no X11
Falha ao carregar drivers [RESOLVIDO] (2)
Formatar NVM Express 1.3 de forma segura por completo (4)
Problema ao usar monitor externo via USB-C/Display... no Ubuntu 24 (1)
Porblema com MergeList [RESOLVIDO] (10)
Melhor hospedagem em nuvem para projetos Laravel com baixo custo? [RES... (7)
[Python] Automação de scan de vulnerabilidades
[Python] Script para analise de superficie de ataque
[Shell Script] Novo script para redimensionar, rotacionar, converter e espelhar arquivos de imagem
[Shell Script] Iniciador de DOOM (DSDA-DOOM, Doom Retro ou Woof!)
[Shell Script] Script para adicionar bordas às imagens de uma pasta