Cuando era más joven, me encantaba la serie de películas de Star Wars. Me encantó tanto que tenía estos video casetes de todos y cada uno de ellos. Solía mirarlos una y otra vez. Luego llegó el momento de los reproductores de DVD y tuve que volver a tener estas películas en DVD. No tuve reparos en volver a comprar todo el conjunto en DVD, ya que quería experimentar la nueva tecnología y seguir disfrutando también de mis películas favoritas. Las cosas iban muy bien hasta que surgió otra nueva tecnología, Blu-ray. Después de haber comprado las películas dos veces, no tenía ganas de volver a comprarlas. Durante algún tiempo no hice ningún esfuerzo por 'actualizarme', pensando que lo haría bien sin esta tecnología. Y lo hice bien. De todos modos, no afectó mi vida. Pero pude ver un cambio de tendencia y no podía compartir mis películas con mis amigos, como hacían entre ellos. Realmente me sentí excluido.
Finalmente salí y conseguí la película en Blu-ray. Lo recuerdo no porque me guste la película, sino por el hecho de que la calidad del video fue increíble. Y para colmo, obtuve todo el conjunto de películas en un solo disco Blu-ray.
La necesidad o el impulso de mantenerse actualizado es más fuerte cuando se trata de nuestra profesión, ya que los riesgos son mayores. Se ha vuelto esencial mantenerse en la cima de su juego.
4 razones prácticas para aprender Hadoop 2.0:
Por inevitable que sea, estar al día en nuestra profesión se ha convertido en una parte importante de nuestras vidas. Por desalentador que parezca, no hay necesidad de alarmarse, ya que las tecnologías no cambian tan rápido o drásticamente. Pero las charlas y la información sobre estas tecnologías y las cosas que podemos hacer con ellas están ganando visibilidad. Estas son algunas de las razones por las que debe mantenerse actualizado:
# 1: No te dejes atrapar
No prestar atención a la última actualización de una tecnología puede hacer que parezca un ciervo atrapado en un faro. No es exactamente una imagen radiante de sus capacidades profesionales. Estar actualizado hará que sus compañeros lo respeten por sus habilidades profesionales. Puede que no sea necesario implementar todo lo nuevo que aprenda, pero es imperativo ser consciente de las actualizaciones.
Por ejemplo, cuando hay una charla sobre Hadoop, puede informar a sus compañeros que Hadoop 2.5.0 tiene mejoras de autenticación cuando usa un servidor proxy HTTP. Y también en la misma versión de Hadoop, existe una disposición para escribir directamente en Graphite.
Se vuelve esencial estar al tanto de las últimas actualizaciones cuando las organizaciones están pensando en migrar a Hadoop. Y 'saber' puede marcar una gran diferencia en su carrera.
# 2: Tener una ventaja competitiva
Se respeta a los profesionales que son expertos en sus campos. Y mantenerse actualizado es la mejor manera de estar en la cima. Su necesidad de mantenerse actualizado refleja su pasión por su trabajo. Al desarrollar experiencia en su trabajo y su industria, se ganará la confianza y el respeto de las personas que lo rodean. Desde una perspectiva de liderazgo, ¡esto es invaluable!
Incluso si su organización todavía está trabajando con Hadoop 1.0, conocer todas las funciones más recientes de Hadoop 2 lo mantendrá encaminado, ya que es relativamente nuevo y definitivamente mejor. Ser el primero en aprender esto le daría una ventaja sobre sus compañeros.
# 3: Nuevas oportunidades
Es una triste realidad que nuestro papel actual siga cambiando. Con el tiempo, se agregan responsabilidades y oportunidades para realizar nuevas tareas. Al mantenerse actualizado sobre las tendencias de la industria, está en la mejor posición para aprovechar estas oportunidades.
Empresas como Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory y muchas más están buscando personas capacitadas en las últimas funciones de Hadoop 2, como YARN.
# 4: Tome mejores decisiones
La información adicional le permitirá tomar decisiones informadas y tomar mejores decisiones. Le ayudará a reconocer oportunidades y agregar valor a la estrategia de su organización.
Hadoop 2 tiene características que mejoran la velocidad y reducen el costo. Sugerir opciones para mejorar el rendimiento y aumentar la velocidad definitivamente puede impulsar la productividad de la organización. Estas son algunas de las características de Hadoop 2 que beneficiarán a la organización y sugerirlas también impulsará su carrera.
Soporte para ejecutar Hadoop en Microsoft Windows
Distribución simplificada de binarios MapReduce a través de HDFS en YARN Distributed Cache.
Soporte mejorado para nuevas aplicaciones en YARN con Application History Server y Application Timeline Server
Compatibilidad completa con HTTPS en HDFS
Integración de Kerberos para la tienda de línea de tiempo de YARN.
configurando hadoop en ubuntu
Soporte para jerarquía de almacenamiento heterogénea en HDFS.
Caché en memoria para datos HDFS con administración y gestión centralizadas.
Distribución simplificada de binarios MapReduce a través de HDFS en YARN Distributed Cache.
Hay más que razones prácticas para mantenerse actualizado. También hay razones técnicas. Hadoop tiene numerosas características que son ventajosas para las organizaciones. Examinarlos en profundidad le dará una idea clara de cuáles son las ventajas.
¿Cuál es la última actualización de Hadoop?
Cada producto pasa por varias etapas de lanzamientos y presenta varias versiones de sí mismo. Hadoop no es una excepción y ha creado Hadoop 2.0. La fundación Apache ha creado versiones posteriores de Hadoop como Hadoop 2.1.0, Hadoop 2.4.0 y ha llegado a Hadoop 2.5.1, que es la última versión lanzada en septiembre de 2014.
¿Por qué se lanzó Hadoop 2?
Con la nueva versión viene características agregadas y errores corregidos. Entonces, cada vez que usa una versión particular de Hadoop y piensa que se puede agregar una característica determinada o que se deben corregir algunos errores, se lo informa a los chicos de la fundación Apache. Estos chicos, a su vez, trabajan en ello y le ofrecen un producto mejor en la próxima versión.
Hadoop 2: no solo un número
Hadoop 2 no es solo la última versión de Hadoop. En general, es una arquitectura de segunda generación. Arun Murthy, fundador y arquitecto del distribuidor de Hadoop Hortonworks, insiste en que la distinción es importante porque la cantidad de reingeniería necesaria para llevar a Hadoop más allá del procesamiento por lotes y al mundo de la analítica en tiempo real ha sido sustancial.
Analicemos qué tan diferente es Hadoop 2.0 de su predecesor Hadoop 1.0. Obviamente, la versión publicada más tarde será superior a la versión anterior. Las siguientes son las cuatro mejoras principales en Hadoop 2.0 sobre Hadoop 1.x:
Federación HDFS: escalabilidad horizontal de NameNode
Alta disponibilidad de NameNode: NameNode ya no es un punto único de falla
YARN: capacidad para procesar terabytes y petabytes de datos disponibles en HDFS utilizando aplicaciones que no son MapReduce como MPI, GIRAPH
Administrador de recursos: divide las dos funcionalidades principales de JobTracker sobrecargado (administración de recursos y programación / monitoreo de trabajos) en dos demonios separados: un Administrador de recursos global y ApplicationMaster por aplicación.
Hay características adicionales como Capacity Scheduler (Habilitar el soporte de tenencia múltiple en Hadoop), Instantánea de datos, Soporte para Windows, acceso NFS, lo que permite una mayor adopción de Hadoop en la industria para resolver problemas de Big Data.
Hadoop 2.X frente a Hadoop 1.X
Hagamos una pequeña comparación y veamos de qué manera Hadoop 2.0 es mejor y diferente de Hadoop 1.0
¿Por qué se prefiere Hadoop 2 sobre Hadoop 1.0?
Hadoop 2.0 ofrece mejoras de rendimiento que benefician a las tecnologías relacionadas en el ecosistema de Hadoop. Además de las características innovadoras de HDFS y la arquitectura de segunda generación (YARN), existen aún más y mayores razones para preferir Hadoop 2 sobre Hadoop 1.0:
Hadoop 2 ya no tiene restricciones de idioma. Es decir, una amplia gama de profesionales ahora pueden usar Hadoop.
Con Hadoop 2, se superan obstáculos como la escasez de codificadores MapReduce.
2 veces más rápido que Hadoop 1.0
2 veces el ROI con hardware existente.
Con YARN, la interfaz de programación de aplicaciones es mucho más abierta y flexible.
Hadoop 2 amplía las posibilidades de usar Hadoop en proyectos de Big Data.
sobrecarga de funciones en c ++
Con Hadoop 2, los desarrolladores ahora pueden realizar una gran variedad de tareas de procesamiento de datos, más allá del alcance anterior de procesamiento por lotes de Hadoop.
Ofrece nuevas oportunidades para los administradores de información y aborda las deficiencias en versiones anteriores.
Esta nueva versión tiene la característica única de ejecutar múltiples cargas de trabajo en el mismo clúster de Hadoop.
Hadoop ya no está restringido a una función. Su aplicación ahora se extiende más allá de HDFS y MapReduce.
Beneficios clave de YARN
Somos conscientes de que YARN es una arquitectura de segunda generación, veamos qué la hace tan genial.
Escala
Nuevos modelos y servicios de programación
Uso de clúster mejorado
Agilidad
Mucho más que Java
Y muchos más
Demanda de habilidades de Hadoop 2
Las organizaciones ahora están lanzando o experimentando con Hadoop 2. En consecuencia, surge la necesidad de profesionales capacitados en Hadoop 2. Muchas organizaciones ya han comenzado a buscar internamente personas para trabajar con Hadoop. Hay indicios claros de que YARN va en aumento y eventualmente reemplazará la demanda de la habilidad MapReduce.
A continuación, se muestran algunas opiniones sobre la demanda actual y proyectada de habilidades de Hadoop:
Según los analistas de Gartner, Hadoop 2 es un desarrollo vital, ya que las grandes empresas de todo el mundo han descubierto que Hadoop cambia las reglas del juego en su gestión de Big Data.
Según Eric Kavanagh, del grupo Bloor, Hadoop 2.0 ha ganado fuerza entre los trabajadores de la información que buscan disputar Big Data.
La adopción de Hadoop 2.0 sigue aumentando y ahora está entrando en la etapa de madurez.
Las organizaciones conocen los beneficios de YARN y están entusiasmadas con él.
A continuación, se muestra una instantánea de las ofertas de trabajo para Hadoop 2.0 / YARN en Indeed.com
¿Quién se está mudando a Hadoop 2 o ya lo ha hecho?
Yahoo:
Yahoo! , el líder en todo lo que Hadoop ha implementado YARN (0.23.x). Según Murthy, el clúster de 35.000 nodos de Yahoo ahora procesa 130-150 trabajos por día en comparación con 50-60 antes de YARN.
Cuando habla del rendimiento estelar, Murthy cita: 'Cuando tienes el doble de 35.000 a 40.000 nodos, es fenomenal'. También agregó: 'Es una historia bastante convincente contarle a un CIO que si simplemente actualiza su software de Hadoop 1 a Hadoop 2, verá mejoras de rendimiento 2 veces mayores en sus trabajos'.
eBay:
eBay tiene uno de los clústeres de Hadoop más grandes de la industria, donde los datos están en petabytes. También han migrado sus clústeres a Hadoop 2.
Conclusión:
Con Hadoop 2 siendo maduro y más fácil de implementar, incluso están convenciendo a los escépticos y cada vez más organizaciones están migrando a Hadoop 2.0. Hay razones válidas para evitar las versiones 1.x. Pero con Hadoop 2, incluso los incrédulos lo están considerando, ya que se puede usar para una amplia gama de usos. Al aprender Hadoop 2.0 e implementarlo para realizar cálculos en Big Data, estará abriendo las puertas a una carrera técnicamente avanzada y económicamente gratificante.
Tienes una pregunta para nosotros? Por favor, menciónelos en la sección de comentarios y nos comunicaremos con usted.
Tutoriales de SQL Server para principiantes
Artículos Relacionados: