Si ya eres del Industria de TI , debes ser consciente de que Big Data es la comidilla del día. Ya sea, nuevas empresas emergentes con modelos de negocio innovadores, o sus colegas que se unen a esas empresas emergentes, por alguna razón, hoy Pastos más verdes parece ser el Big Data industria.
Si se está preguntando por qué, le recomiendo que lea esto hasta el final, porque puede ser un blog de autoexploración que lo llevará a lo que está destinado.
Entonces, porque todo estoHYPErodeando GRANDES DATOS?
¿Es solo otro dominio que traerá refugiados de todos los demás dominios de forma temporal? ¿O estará aquí a largo plazo?
Si tuviera que adivinar, diría que no solo estará aquí a largo plazo, sino que la industria de Big Data estará en el epicentro del avance tecnológico.
Porque todo se trata deDATOS!
Como el solsubedesde elEsteyconjuntosen elOeste, el uso continuo de dispositivos informáticos / no informáticos resultará en una explosión de datos inmanejables.
Cuando estos datos cruzan el umbral de ser manejados por Excel o cualquier sistema de administración de bases de datos, los denominamos GRANDES DATOS .
Piensa, ¿cuál fue el último producto que compraste en Amazon? ¿Cuál puede ser el próximo producto que podría comprar en función de su actividad anterior? Las respuestas a estas preguntas se almacenan en Big Data.
¿Existe una tendencia creciente detrás de un producto? ¿O hay una tendencia a la baja? ¿Un cliente comprará 'Medias' cuando compre 'Zapatos'? Estas son preguntas de resolución de problemas comerciales.
Y estas preguntas pueden ser fácilmente contestadas mediante el uso Análisis de Big Data .
Después de todo, ¿cuál es el uso de los datos cuando no analizando ¿eso?
Entonces, ¿es Big Data?completamente sobre¿Analítica?No del todo, pero Analytics es el premio mayor.
cómo crear una cadena aleatoria en java
Otras corrientes importantes de Big Data sonAlmacenamientoyadministración.
Aquí es donde usted como profesional puede contribuir. Puede asumir el rol de:
- Ingeniero de Big Data
- Arquitecto de soluciones de Big Data
Y asegúrese de que los macrodatos que se generan estén siempre disponibles y puedan utilizarse para análisis en un momento posterior. Entonces esto nos lleva a la pregunta & hellip
¿Dónde se almacena Big Data?
¿Puede almacenarse en unarchivo Excel? ¿Puede almacenarse en unsistema de base de datos relacional?
¡Diablos, NO!
¡Si hubiera podido ser, entonces lo hubiera sido!
Y ser llamado algo diferente todos juntos. Tal vez algo comoDatos de ExceloDatos RDBMS:RE
Y eso nos llevaría de regreso a PASO 1 : - ¿Por qué no se puede administrar Big Data con Excel? PorqueBig Data es demasiado caliente para que Excel lo maneje. E incluso otros sistemas de gestión de bases de datos, de hecho.
¿Entonces cual es la alternativa?
Para el manejo de Big Data, tenemos HADOOP . Es posible que también conozca esta palabra. Pero, quizás se esté preguntando, ¿cómo funciona exactamente?
Para empezar, HADOOP es un producto deFundación APACHE. Apache es una organización estadounidense sin fines de lucro que apoya el desarrollo de software de código abierto.
Hadoop se define como un marco de programación de código abierto basado en Java que admite el procesamiento y almacenamiento de conjuntos de datos extremadamente grandes en un entorno informático distribuido.
¿Qué puede hacer Hadoop, pero Excel no?
¡Procese y comprenda los datos no estructurados!Los datos estructurados que están en formato tabular o de otro modo pueden tratarse fácilmente. Excel puede hacerlo, al igual que cualquier otro RDBMS.
Pero cuando la legibilidad se reduce y los datos no están estructurados, ahí es donde Big Dataherramientas como HadoopPuntuación. Un ejemplo de datos no estructurados es syslog . A continuación se muestra una imagen de muestra.
Estos registros definitivamente no se pueden consultar con Excel.
Hadoop, al igual que las herramientas de Big Data, puede comprender los datos tal como son, desenterrando patrones y formando relaciones entre varios campos. Y una vez que los datos tienen un toque relacional, esListo para análisis.
¡La analítica es lo que tendrá un impacto comercial en una organización! Su carrera se beneficiará en gran medida de su participación en este dominio de Big Data.
“ ¿Puedo hacerlo como Hadoop-er? ”
... puede ser la siguiente pregunta en tu mente. Y bien pensado, Big Data es un mercado que está tan caliente como siempre y tan importante como siempre.
Sin Hadoop, las empresas tendrán dificultades para lidiar con Big Data. Y sin profesionales calificados como usted, las empresas tendrán dificultades para lidiar con Hadoop.
Hay un informe que dice, hay un déficit de talento en este dominio. El déficit de talento significa, menos profesionales pero mucha demanda. Y esto es a escala global y no se limita a una geografía en particular.
¿Quieres números?
A Instituto Global McKinsey El estudio afirma que EE. UU. enfrentará una escasez de alrededor de 190.000 científicos de datos y 1,5 millones de administradores y analistas que puedan comprender y tomar decisiones utilizando Big Data para 2018.
¿Un consejo profesional para ti? ¡Surfea cuando las mareas están bajas!
Pero eres tu restringido a solo Hadoop ?
Realmente no. Hay una serie de herramientas para procesar Big Data, y Hadoop se considera una de las mejores. ¡Pero no siempre!
Hay momentos en los que Hadoop no es el más adecuado. Por ejemplo, si no es una persona técnica que no es muy buena escribiendo programas MapReduce.
En tales casos, puede utilizarTALENDO, que le brinda una interfaz gráfica de usuario para hacer lo que de otro modo hubiera hecho con MapReduce.
clase vs interfaz en java
Para escribir códigos Java más simples, puede usarCERDO.
Si desea ejecutar consultas similares a SQL en Big Data, entoncesCOLMENApuede ser usado.
Si desea utilizar datos almacenados en una base de datos NoSQL, entoncesHBasepuede ser usado.
Para realizar análisis en tiempo real, puede utilizarCHISPA - CHISPEAR.
Estas son herramientas de Big Data, que van de la mano con Hadoop, pero no reemplazan a Hadoop en absoluto. Son complementos de Hadoop para Big Data.
Además, hay un par de herramientas más como SQOOP, FLUME, OOZIE, etc. que se pueden integrar con el marco de Hadoop para resolver varios problemas comerciales.
¿Qué espera la industria de usted como experto en Big Data?
La industria necesita urgentemente ARQUITECTOS DE BIG DATA que pueden crear una solución de big data de extremo a extremo para sus organizaciones. Los arquitectos de Big Data son aquellos con experiencia en todas las herramientas mencionadas anteriormente.
Aquí hay un testimonio de un alumno de Edureka en curso:
Convertirse en un a partir de la capacitación de certificación Big Data y Hadoop de Edureka, que ayuda a los estudiantes a convertirse en expertos en HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume y Sqoop utilizando casos de uso en tiempo real en el dominio de comercio minorista, redes sociales, aviación, turismo y finanzas. .