Con una mayor adopción de Hadoop en las soluciones de TI empresariales tradicionales y un mayor número de implementaciones de Hadoop en el entorno de producción, la necesidad de que los expertos en administración y operaciones de Hadoop se encarguen de los grandes clústeres de Hadoop se está volviendo vital.
Responsabilidades del administrador de Hadoop:
- Responsable de la implementación y administración continua de la infraestructura de Hadoop.
- Alinearse con el equipo de ingeniería de sistemas para proponer e implementar nuevos entornos de hardware y software necesarios para Hadoop y expandir los entornos existentes.
- Trabajar con equipos de entrega de datos para configurar nuevos usuarios de Hadoop. Este trabajo incluye configurar usuarios de Linux, configurar los principales de Kerberos y probar el acceso a HDFS, Hive, Pig y MapReduce para los nuevos usuarios.
- Mantenimiento de clústeres, así como creación y eliminación de nodos utilizando herramientas como Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage y otras herramientas.
- Ajuste del rendimiento de los clústeres de Hadoop y las rutinas de Hadoop MapReduce.
- Proyectar el rendimiento del trabajo del clúster de Hadoop y la planificación de la capacidad
- Supervisar la seguridad y la conectividad del clúster de Hadoop
- Administre y revise los archivos de registro de Hadoop.
- Gestión y seguimiento del sistema de archivos.
- Soporte y mantenimiento de HDFS.
- Trabajar en equipo diligentemente con los equipos de infraestructura, red, base de datos, aplicaciones e inteligencia empresarial para garantizar una alta calidad y disponibilidad de los datos.
- Colaborar con los equipos de aplicaciones para instalar el sistema operativo y las actualizaciones de Hadoop, parches y actualizaciones de versión cuando sea necesario.
- Punto de contacto para escalamiento de proveedores
La administración de Hadoop es una carrera lucrativa y gratificante con muchas oportunidades de crecimiento. Si las responsabilidades laborales enumeradas anteriormente le interesan, entonces es el momento de mejorar sus habilidades con la Administración de Hadoop y emprender la carrera profesional de Hadoop Admin.
java cómo usar esto
Responsabilidades de DBA realizadas por un administrador de Hadoop:
- Modelado, diseño e implementación de datos basados en estándares reconocidos.
- Instalación y configuración de software.
- Copia de seguridad y recuperación de bases de datos.
- Conectividad y seguridad de la base de datos.
- Seguimiento y ajuste del rendimiento.
- Gestión del espacio en disco.
- Parches y actualizaciones de software.
- Automatice las tareas manuales.
Responsabilidades de desarrollo de DWH realizadas por el administrador de Hadoop:
Las responsabilidades laborales de los administradores de DWH incluyen desarrollar, probar y monitorear trabajos por lotes para las siguientes tareas:
- Asegurar la integridad referencial.
- Realice la ejecución de la clave principal.
- Realizar reformulaciones de datos.
- Cargue grandes volúmenes de datos de manera oportuna.
Ahora que conoce las responsabilidades laborales de un administrador de Hadoop, echemos un vistazo a las habilidades necesarias para serlo.
Habilidades necesarias para convertirse en administrador de Hadoop:
- Experiencia operativa general, como buenas habilidades para la resolución de problemas, comprensión de la capacidad del sistema, cuellos de botella, conceptos básicos de memoria, CPU, SO, almacenamiento y redes.
- Habilidades de Hadoop como HBase, Hive, Pig, Mahout, etc.
- Los requisitos más esenciales son: Deben poder implementar el clúster de Hadoop, agregar y eliminar nodos, realizar un seguimiento de los trabajos, monitorear las partes críticas del clúster, configurar la alta disponibilidad del nodo de nombre, programarlo y configurarlo y realizar copias de seguridad.
- Buen conocimiento de Linux ya que Hadoop se ejecuta en Linux.
- Familiaridad con herramientas de implementación y administración de configuración de código abierto como Puppet o Chef y scripts de Linux.
- El conocimiento de la resolución de problemas de las aplicaciones principales de Java es una ventaja.
Edureka ha comisariado especialmente un curso sobre administración de Hadoop. Haga clic en el botón a continuación para comenzar con la administración de Hadoop y aprender cómo el curso lo ayuda a convertirse en un administrador de Hadoop.
Artículos Relacionados:
cómo agregar java a la ruta