Una de las características más atractivas del framework Hadoop es su utilización de hardware básico . Sin embargo, esto conduce a bloqueos frecuentes de DataNode en un clúster de Hadoop. Otra característica sorprendente de Hadoop Framework es la facilidad de escala de acuerdo con el rápido crecimiento del volumen de datos . Debido a estas dos razones, una de las tareas más comunes de un administrador de Hadoop es comisión (Agregar) y desmantelamiento (Eliminar) Nodos de datos en un clúster de Hadoop.
que es indexof en javascript
Puesta en servicio y desmantelamiento de nodos en un clúster Hadoop:
El diagrama anterior muestra un proceso paso a paso para retirar un DataNode en el clúster.
La primera tarea es actualizar el ' excluir 'Archivos para ambos HDFS (hdfs-site.xml) y Mapa reducido (mapred-site.xml).
El archivo 'excluir':
- para jobtracker contiene la lista de hosts que deben ser excluidos por jobtracker. Si el valor está vacío, no se excluye ningún host.
- para Namenode contiene una lista de hosts a los que no se les permite conectarse al Namenode.
Aquí está la configuración de muestra para el archivo de exclusión en hdfs-site.xml y mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ inicio / hadoop / excluye
cierto
mapred-site.xml
mapred.hosts.exclude
/ inicio / hadoop / excluye
cierto
Nota: Debe especificarse la ruta completa de los archivos.
Del mismo modo, tenemos los archivos 'incluir':
- para jobtracker que contiene la lista de nodos que pueden conectarse al JobTracker. Si el valor está vacío, se permiten todos los hosts.
- para Namenode que contiene una lista de hosts que pueden conectarse al Namenode. Si el valor está vacío, se permiten todos los hosts.
Los ' dfsadmin 'Y' mradmin Los comandos actualizan la configuración con los cambios para que conozcan el nuevo nodo.
Los ' esclavos 'Archivo en el servidor maestro contiene la lista de todos los nodos de datos. Esto también debe actualizarse para garantizar cualquier problema en el futuro inicio / detención del demonio hadoop.
El paso importante en el proceso de puesta en marcha del nodo de datos es ejecutar Cluster Balancer.
> equilibrador de hadoop - umbral 40
Balancín intenta proporcionar un equilibrio a un cierto umbral entre los nodos de datos copiando los datos de bloque de los nodos más antiguos a los nodos recién encargados.
Entonces, así es como puedes hacerlo: Puesta en servicio y Desmantelamiento Nodos en un clúster de Hadoop.
Tienes una pregunta para nosotros? Menciónelo en la sección de comentarios y nos pondremos en contacto con usted.
Enlaces relacionados: