Hemos aprendido como Construye Hive e Yarn en Spark . Ahora probemos los ejemplos de Hive y Yarn en Spark.
Ejemplo de Hive en Spark
Ejecutaremos un ejemplo de Hive en Spark. Crearemos una tabla, cargaremos datos en esa tabla y ejecutaremos una consulta simple. Al trabajar con Hive, uno debe construir un HiveContext que hereda de SQLContext .
Mando: cd chispa-1.1.1
Mando: ./bin/spark-shell
Crea un archivo de entrada 'muestra' en su directorio de inicio como la siguiente instantánea (separada por tabulaciones).
Mando: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
Mando: sqlContext.sql ('CREAR TABLA SI NO EXISTE prueba (nombre STRING, rango INT) FORMATO DE FILA CAMPOS DELIMITADOS TERMINADOS POR' LÍNEAS TERMINADAS POR '
‘”)
Python convertir decimal a binario
Mando: sqlContext.sql ('CARGAR DATOS EN RUTA LOCAL‘ / home / edureka / sample ’EN la prueba TABLA')
Mando: sqlContext.sql ('SELECCIONAR * DESDE la prueba DONDE rango<5”).collect().foreach(println)
Ejemplo de hilo en Spark
Ejecutaremos el ejemplo de SparkPi en Yarn. Podemos implementar Yarn en Spark en dos modos: modo clúster y modo cliente. En el modo de cluster de yarn, el controlador Spark se ejecuta dentro de un proceso maestro de la aplicación que es administrado por Yarn en el cluster, y el cliente puede desaparecer después de iniciar la aplicación. En el modo de cliente de yarn, el controlador se ejecuta en el proceso del cliente y el maestro de la aplicación solo se utiliza para solicitar recursos de Yarn.
uso de charat en java
Mando: cd chispa-1.1.1
Mando: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executeors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Después de ejecutar el comando anterior, espere algún tiempo hasta que obtenga ÉXITO mensaje.
Vistazo localhost: 8088 / cluster y haga clic en la aplicación Spark.
Haga clic en registros .
Haga clic en stdout para comprobar la salida.
Para implementar Yarn en Spark en modo cliente, simplemente haga –Modo de implementación como 'cliente'. Ahora ya sabe cómo crear Hive y Yarn en Spark. También hicimos prácticas sobre ellos.
Tienes una pregunta para nosotros? Por favor, menciónelos en la sección de comentarios y nos comunicaremos con usted.
Artículos Relacionados
Apache Spark con Hadoop: ¿por qué es importante?
una simple introducción a la ciencia de datos
Hive & Yarn se electrifican con Spark