Apache Falcon: nueva plataforma de gestión de datos para el ecosistema Hadoop



Apache Falcon es una nueva plataforma de gestión de datos para el ecosistema Hadoop que simplifica el procesamiento y la gestión de feeds de incorporación en los clústeres de hadoop. Aprenda a configurarlo.

Apache Falcon es un marco para administrar el ciclo de vida de los datos en clústeres de Hadoop. Establece una relación entre varios datos y elementos de procesamiento en un entorno Hadoop, y también proporciona servicios de gestión de feeds, como retención de feeds, replicaciones en clústeres, archivo, etc.





Primero analicemos cómo configurar Apache Falcon. Ejecute el siguiente comando para descargar el repositorio git de Falcon:

Mando: clon de git https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Para ejecutar Falcon, primero debes construirlo.

Mando: cd falcon



Mando: export MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn instalación limpia -DskipTests

Mando: mvn clean assembly: ensamblaje -DskipTests -DskipITs

Una vez que haya construido falcon, encontrará un paquete falcon dentro del directorio / falcon / distro / target /.

Los comandos para construir falcon parecen muy fáciles, pero enfrentarás muchos problemas antes de ver el mensaje Build Success. Me enfrenté a muchos problemas mientras lo construía para Hadoop-2.2.0

Entonces, para evitar el dolor de construir Falcon, le estoy dando un paquete de falcon construido con éxito, que puede descargar usando el siguiente enlace.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Descomprima el archivo para obtener el directorio falcon-0.10.

Mando: descomprimir falcon-0.10-SNAPSHOT.zip

Establezca las variables de entorno de flacon en el archivo .bashrc.

Mando: sudo gedit .bashrc

Mando: fuente .bashrc

Puede ir al directorio falcon y ver los archivos y directorios que contiene.

Mando: cd falcon-0.10-SNAPSHOT /

Mando: ls

Puede encontrar scripts de falcon dentro del directorio bin.

Ejecute el siguiente comando para iniciar Falcon.

Mando: ./bin/falcon-start

Verá un nuevo demonio FalconServer ejecutándose ahora.

Comando: jps

Mando: ./bin/falcon admin -version

Abra su navegador y vaya a localhost: 15000 . Puede ver la interfaz de usuario web de Falcon.

Tienes una pregunta para nosotros? Menciónalos en la sección de comentarios y nos comunicaremos contigo.

Artículos Relacionados:

convertir una cadena a la fecha en java

Profundizando en Apache Drill