Backup incremental dados

stremer
(usa Arch Linux)

Enviado em 21/05/2008 - 10:34h

Pessoal, existe algum jeito de fazer backup incremental por algum programa de todo o filesystem do linux? Por ex. Faço um backup completo dos meus dados (uns 40Gb) e depois eu só vou fazendo backup das diferenças. Como os filesystem tipo o ext3 usam journaling, acredito q isso seja possivel, mas existe um jeito de fazer? Muitas vezes queremos restaurar a situação atual da maquina, mas gerar uma imagem completa sempre, alem de demorar muito, gera uma demanda de gigas gigantesca necessitando varios dvds ou outro hd para os backups. Desta maneira poderia se fazer um backup diaria com somente oque foi modificado (igual acontece com backups de bases de dados). Alguem sabe se da pra fazer isso?

stremer
(usa Arch Linux)

Enviado em 21/05/2008 - 10:37h

um complemento que pesquisei um pouco e vi que existe um tal de Amanda e um outro BRU. Eles fazem isso? São bons? Existe algo melhor? valew

engos
(usa openSUSE)

Enviado em 21/05/2008 - 10:45h

O BRU nunca ouvi falar, mas o Amanda é muito bom, mas não sei faz exatamente o que você quer.

Pelo que entendi você está procurando algo mais simples de ser usado no cotidiano para backup/restore de arquivos em geral.

Bem, se for isso mesmo de uma olhada nesse link, ele faz do jeito que gosto, que é filtrando pelo find e usando o tar, só que uso a opção j no lugar da z, pois com bzip apesar de demorar mais ele é melhor para economizar espaço:

http://www.linux-backup.net/Full_Inc/


[]s

stremer
(usa Arch Linux)

Enviado em 21/05/2008 - 10:54h

esse BRU é pago e parece que bem caro (o que ja seria motivo para descarte), porém parece que ele quem faz backup dos dados da NASA.
O Amanda comecei a pesquisar. O que eu queria era fazer um backup de todo o sistema ou de uma pasta, porém somente com as diferenças, pois ficar sempre gravando uma penca de dados em CDs/DVDs ou copiando pela rede é um processo mto demorado. Valew

engos
(usa openSUSE)

Enviado em 21/05/2008 - 11:30h

O link que passei acima fala como fazer isso com o find e tar, mas apenas dos dados, não sei se você quer um snapshot do sistema como um todo para poder recuperar inclusive o setor de boot e mbr...

Se for o snapshot completo veja o Ghost 4 Linux:
http://sourceforge.net/projects/g4l

Espero ter ajudado,
[]s

stremer
(usa Arch Linux)

Enviado em 21/05/2008 - 11:46h

vou dar uma olhada.
Uma duvida que tenho é um arquivo grande se ele teve apenas uma pequena mudança, tem jeito de copiar somente as diferenças para depois construir o arquivo, igual um backup de base de dados? Pq isso? Aqui na empresa usa-se maquinas virtuais para tudo. Como nada roda em produção, são apenas servidores para testes e que simulam os ambientes reais de produção, temos uns 100 servidores mas eles rodam em umas 15 maquinas reais. Essas maquinas virtuais são de VMWare e tem diferentes SOs nelas. As maquinas hospedeiras de VMWare são todas windows, exceto uma que é linux. Os backups são todos por copia das VMs inteiras o que é muito lento e as vezes da erro por causa da rede. Então queria tentar melhorar um pouco o processo pois embora eu não seja o responsavel pelas maquinas qdo da algum problema sempre acaba sobrando...

stremer
(usa Arch Linux)

Enviado em 21/05/2008 - 12:06h

achei um tal de jojodiff que parece fazer em arquivo com as diferenças de um arquivo binário e depois reconstruir o arquivo.
Alguem conhece esse tal de JDiff ou jojodiff?

engos
(usa openSUSE)

Enviado em 21/05/2008 - 12:29h

Hum... Seu problema é um pouco diferente...

BD ele pega as informações pela data de inclusão e com isso consegue fazer o backup incremental apenas dos dados, mas se você for fazer dos arquivos em si, vai ver que sempre vai pegar os arquivos por completo, por serem binários e não de texto.

Acontece que as VMs também são arquivos binários e qualquer mudança por menor que seja no SO da VM faz o binário dela ficar diferente e isso automaticamente faz com que esse arquivo vá para o backup, mesmo que ele seja incremental, em outras palavras, sempre vai fazer full no seu caso, pois os arquivos vmdk são os maiores e sempre vão estar atualizados.


Dei uma olhada no jojodiff e segundo o site ele consegue fazer o que você quer, mas se eu fosse você manteria esse processo em paralelo e faria testes de restore todos os dias por um bom tempo até garantir que o jojodiff funcione bem, pois é um processo bem perigoso esse, principalmente para um programa beta que está parado há quase 5 anos.


Agora com relação a rede, uma segunda placa de rede nas máquinas e um cabo cross sai bem em conta e lhe daria uma garantia maior, só que no servidor de backup a placa teria que ser uma com 16 entradas (se é que existe, pois só vi até 4, mas como faz um tempinho acho que de 16 já deve existir), o que deve sair caro.


Ah, se optar pelo jojodiff depois comente os resultados com ele para sabermos se ele é bom mesmo ou é melhor "esperar pela versão oficial".

stremer
(usa Arch Linux)

Enviado em 21/05/2008 - 14:46h

eu perguntei mais pois pensei que pudesse existir algo que ja efetuasse a leitura do jornaling do filesystem e fizesse essa diferença, mas pelo jeito não existe. Já ao jojodiff fiquei meio com medo de usar e vi tbem que pra arquivos mto grandes será mto mais lento criar esse diff doque dar um tar no arquivo todo e depois copiar pela rede. Só seria interessante se o problema fosse espaço em disco ou quisesse guardar uma série de backups oque pra mim não importa mto, 1 backup funcional é o mais importante, o resto pode ir pra dvd. Quanto a placa de rede, o grande problema não é custo e sim as politicagens toscas da empresa que mtas vezes um simples upgrade pode ser um problema que leve meses.
Valew a todos e vo testar o jojodiff sim mas com arquivos menores.

dfsantos
(usa openSUSE)

Enviado em 21/05/2008 - 14:50h

Tenta o bacula ele e otimo

lucianopqd
(usa Ubuntu)

Enviado em 21/05/2008 - 17:58h

O que vc acha que realizar backups diários apenas dos arquivos alterados nas últimas 24hs?

stremer
(usa Arch Linux)

Enviado em 21/05/2008 - 18:15h

luciano. Não entendi sua pergunta?
Eu queria fazer backup somente dos arquivos alterados nas ultimas 24hs. Eu poderia usar o tar para isso, porém não sei como poderia ficar a confiabilidade do restore. Além de que não sei se funcionaria com o sistema completo (instalação completa do linux, igual qdo se cria uma imagem). Agora no caso de arquivos grandes, queria saber se tinha somente como salvar as diferenças do arquivo, tipo oque o jojodiff faz, mas ja vi que isto não compensa pq o processamento acaba sendo mais lento que salvar tudo. Pensei que pudesse existir algo mais inteligente que visse as mudanças direto do journaling do filesystem, mas parece que isso não existe.