Para configurar o modo totalmente distribuído você deve configurar o modo pseudo-distribuído como vimos na página anterior.

Existem poucas diferenças entre a configuração do pseudo-distribuído e o modo completamente distribuído. Na verdade, o Hadoop só precisa estar instalado em todos os nós do nosso cluster e podemos fazer isso de uma maneira muito simples:

# rsync -avxP /usr/local/hadoop root@[ip_do_cliente]:/usr/local/hadoop

Mas para que isso aconteça de uma maneira transparente temos que configurar o SSH do server, para autenticação sem senha, em todos os outros nós que farão parte do nosso cluster como visto anteriormente.

Os arquivos XML tem algumas pequenas modificações:

core-site.xml - aqui definimos o uso do HDFS e o endereço do seu master e a porta que será usada:


hdfs-site.xml - aqui está sendo definido o numero de replicações de cada arquivo do HDFS:


mapred-site.xml - aqui passamos a bola do gerenciador de MapReduce para o Yarn e dizemos quem vai ser o Master para distribuir tarefas:


yarn-site.xml:


Todos os outros nós precisam estar nomeados no seu /etc/hosts, como por exemplo:


Agora, dois novos arquivos precisam ser criados dentro de /usr/local/hadoop/etc/hadoop. slaves - que são todos os computadores que farão parte do nosso cluster como "clientes":


master - que é o computador responsável pelo gerenciamento dos nós:


Teste de funcionamento: acesse http://localhost:8088