En este blog, veamos cómo construir Spark para una versión específica de Hadoop.
También aprenderemos cómo construir Spark con HIVE y YARN.
cómo aprender pl sql
Considerando que tienes Hadoop, jdk y mvn y Vamos preinstalado y preconfigurado en su sistema.
Abierto Navegador Mozilla y descargar Chispa - chispear usando el enlace de abajo.
https://edureka.wistia.com/medias/k14eamzaza/
Terminal abierto.
Comando: tar -xvf Descargas / spark-1.1.1.tgz
Comando: ls
Abra el directorio spark-1.1.1.
Tu puedes abrir pom.xml archivo. Este archivo le brinda la información sobre todos los dependencias necesitas.
No lo edite para no meterse en problemas.
Comando: cd spark-1.1.1 /
Comando: sudo gedit sbt / sbt-launch-lib.bash
Edite el archivo como se muestra a continuación, guárdelo y ciérrelo.
Estamos reduciendo la memoria para evitar problemas de espacio en el montón de objetos como se menciona en la siguiente instantánea.
Ahora, ejecute el siguiente comando en la terminal para compilar Spark para Hadoop 2.2.0 con HIVE y YARN.
Comando: ./sbt/sbt -P hilo -PAGS colmena -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests montaje
Nota: Mi versión de Hadoop es 2.2.0, puede cambiarla de acuerdo con su versión de Hadoop.
Para otras versiones de Hadoop
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
La compilación y el empaquetado llevará algún tiempo; espere hasta que se complete.
Dos frascos Spark-ensamblaje-1.1.1-hadoop2.2.0.jar y Spark-examples-1.1.1-hadoop2.2.0.jar se crea.
Camino de Spark-ensamblaje-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Camino de Spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Felicitaciones, ha construido Spark para Hive & Yarn con éxito.
Tienes una pregunta para nosotros? Por favor, menciónelos en la sección de comentarios y nos comunicaremos con usted.
Artículos Relacionados:
Apache Spark con Hadoop: ¿por qué es importante?