A ideia de rodar IAs parece restrita a supercomputadores, mas no Linux, graças a ferramentas como o Ollama, é possível transformar até um PC antigo com 6GB de RAM em uma estação de trabalho inteligente e 100% offline.

1. O que é o Ollama?

O Ollama é uma aplicação que permite executar Grandes Modelos de Linguagem (LLMs) localmente. A grande vantagem em relação a serviços na nuvem é a privacidade e a independência: seus dados nunca saem da sua máquina e você não precisa de internet para utilizá-la após o download inicial.

2. Instalação (systemd)

O método mais prático é utilizar o script oficial. Ele resolve as dependências, baixa os arquivos necessários e já cria o serviço no systemd automaticamente:

3. Modelos e o limite da Memória RAM

O lance para rodar IA em hardware limitado (como um i5 antigo com 6GB de RAM) está na escolha do modelo correto. O Ollama utiliza versões comprimidas que cabem na memória. Lembre-se que o sistema operacional também consome RAM livre.

• Gemma 2 (2B): ~1.8GB de RAM. Excelente e rápido para resumos de texto.
• Llama 3.2 (3B): ~2.2GB de RAM. Ótimo equilíbrio para conversas e uso geral.
• Qwen 2.5 (3B): ~2.3GB de RAM. O melhor para criar scripts e lógica de Linux.
• Phi-3 Mini (3.8B): ~2.4GB de RAM. Focado em raciocínio lógico e matemática.

Para máquinas mais potentes (ex: 32GB de RAM), você pode escalar para modelos mais complexos, como o Qwen 2.5 (32B) ou Llama 3.1 (8B).

4. Prática: O Poder da IA no Terminal

A maior vantagem no Linux é integrar a IA ao seu fluxo de trabalho via CLI. Para isso, criamos um atalho (alias) no seu arquivo ~/.bashrc:


Atualize a configuração do terminal com:


Como usar: Digite ia "sua pergunta" e aperte Enter. O primeiro uso fará o download do modelo, mas do segundo em diante a resposta será instantânea.

Combinando comandos (Pipes e Redirecionamentos)

Você não precisa interagir apenas conversando. Use o "pipe" (|) para enviar a saída de comandos do Linux direto para a IA analisar, ou o redirecionamento (>) para salvar a resposta em um arquivo.

• Análise de Logs: sudo dmesg | tail -n 20 | ia "Analise este log e identifique erros."
• Otimização de Sistema: cat /etc/portage/make.conf | ia "Sugira melhorias."
• Geração de Arquivos: Use o comando abaixo para a IA criar um script e salvá-lo no disco pronto para uso.

Observe na prática:

5. Criando uma Personalidade (Modelfile)

Modelos menores podem "alucinar" (inventar comandos inexistentes). Para evitar isso, criamos um Modelfile, que define regras estritas de conduta para a IA.

Crie um arquivo chamado Modelfile. Observe o parâmetro temperature: valores baixos (0.2) evitam invenções, deixando a IA focada e técnica. Aqui um exemplo:

FROM qwen2.5:3b

# Define a "personalidade" da IA
SYSTEM """
Você é um assistente técnico especializado em Gentoo Linux.
Regras estritas:
1. Se você não tiver certeza absoluta de um comando, admita que não sabe. Nunca invente flags ou subcomandos.
2. Priorize comandos oficiais do Portage, eselect e eclean.
3. Respostas devem ser curtas, diretas e técnicas.
"""

# Ajusta a "criatividade" (0 é focado, 1 é criativo). 
# Para comandos técnicos, 0.2 é o ideal.
PARAMETER temperature 0.2

No terminal, gere seu modelo personalizado:


Aplique atualizando o alias:

6. Resumo dos Principais Comandos

• ollama run : Baixa (se necessário) e inicia a IA.
• ollama list: Mostra todos os modelos instalados na sua máquina.
• ollama rm : Remove um modelo para liberar espaço no disco.
• ollama create -f Modelfile: Cria um modelo personalizado baseado nas suas regras.

Conclusão

Ter uma IA local no Linux é uma ferramenta formidável de produtividade, aprendizado e automação, que respeita totalmente sua privacidade e revitaliza o uso do terminal.

• https://ollama.com/