GNU Parallel: criando atividades em paralelo com shell script

santosbrc

No tutorial de hoje falarei sobre o GNU Parallel, uma ferramenta fantástica para quem utiliza Shell Script. O Parallel é um utilitário GNU que permite incluir alguma forma de paralelismo nos scripts, melhorando significativamente a performance em sistemas multinúcleo. Seu funcionamento é simples, e lembra um pouco o módulo Multiprocessing do Python.

[ Hits: 9.119 ]

Por: Bruno Rafael Santos em 05/01/2023 | Blog: https://cutt.ly/4H7vrPh

5 0

Denuncie Favoritos Indicar Impressora

Conclusão

Estou adorando utilizar o Parallel, já adaptei todos os meus scripts para trabalhar com ele, utilizando o truque de exportar uma função. A paralelização realmente melhora a velocidade para algumas operações, mas no fim do dia o Parallel é uma gambiarra como é o Multiprocessing. Ele simplesmente chama o comando dado em um outro shell várias vezes de forma transparente e gerencia a lista de tarefas de forma eficiente. Mesmo assim, é uma mão na roda.

Só tomemos cuidado para paralelizar de forma inteligente, não adianta rodar em paralelo operações de disco, deixa o sistema lento. Para cálculos e processamento de arquivos (conversões de vídeo) é uma mão na roda. Fiquemos atentos também à memória RAM que geralmente morre antes do processador.

O que eu acho mais adorável aqui é o esforço do desenvolvedor em divulgar e educar sobre a utilidade. É uma mas melhores man pages que já li, e tem tanta coisa além que o cara merece os parabéns.

Referências

GNU Parallel Man Page: NAME - GNU Parallel 20221222 documentation
Página Oficial: GNU Parallel - GNU Project - Free Software Foundation
CheatSheet: https://www.gnu.org/software/parallel/parallel_cheat.pdf
Canal do Desenvolvedor, Ole Tange, no YouTube: GNU Parallel videos - YouTube
Dica original no VOL: GNU parallel - Um ferramenta para execução de processos em paralelo [Dica]

Página anterior

Páginas do artigo

   1. Introdução
   2. Uso em scripts
   3. Conclusão

Outros artigos deste autor

getopts: criando scripts Bash com parâmetros e argumentos personalizáveis

Defesa pessoal com o GPG, Nautilus Scripts, partições encriptadas e leves doses de paranoia

Calculando o Imposto de Renda 2015 com o LibreOffice Calc

Guia Rápido do Miniconda para Aplicações Científicas - Instalação e Configuração

Python para pesquisadores: material didático

Leitura recomendada

Relatório de sistema via browser (shell script + CGI)

Blacklist - O que é? Como consultar o IP? Como automatizar?

Aprendendo a melhorar os seus scripts

Aviso de queda de Internet via Sendxmpp

Como programar backup com rsync e cron de maneira rápida e simples

Comentários

[1] Comentário enviado por danniel-lara em 05/01/2023 - 21:32h

Muito bacana o Artigo
parabéns

1 0

[2] Comentário enviado por maurixnovatrento em 13/01/2023 - 12:28h

Muito bom artigo.

___________________________________________________________
Conhecimento não se Leva para o Túmulo.
https://github.com/mxnt10

0 0