Programación de Pig: Cree su primer script de Apache Pig
En nuestro , ahora aprenderemos cómo crear un script de Apache Pig. Los scripts de Apache Pig se utilizan para ejecutar un conjunto de comandos de Apache Pig de forma colectiva. Esto ayuda a reducir el tiempo y el esfuerzo invertidos en escribir y ejecutar cada comando manualmente mientras se hace en la programación de Pig.También es una parte integral de la .Este blog es una guía paso a paso que le ayudará a crear su primer script de Apache Pig.
Modos de ejecución de script de Apache Pig
Modo local : En 'modo local', puede ejecutar el script pig en el sistema de archivos local. En este caso, no necesita almacenar los datos en el sistema de archivos Hadoop HDFS, sino que puede trabajar con los datos almacenados en el propio sistema de archivos local.
Modo MapReduce : En el 'modo MapReduce', los datos deben almacenarse en el sistema de archivos HDFS y puede procesar los datos con la ayuda del script pig.
Script de Apache Pig en modo MapReduce
Digamos que nuestra tarea es leer datos de un archivo de datos y mostrar el contenido requerido en el terminal como salida.
El archivo de datos de muestra contiene los siguientes datos:
Guarde el archivo de texto con el nombre 'información.txt'
El archivo de datos de muestra contiene cinco columnas Primer nombre , Apellido , No móviles , Ciudad y Profesión separado por tecla de tabulación . Nuestra tarea es leer el contenido de este archivo del HDFS y mostrar todas las columnas de estos registros.
dígitos inversos de un python entero
Para procesar estos datos con Pig, este archivo debe estar presente en Apache Hadoop HDFS.
Mando : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka
Paso 1: Escribir un guión de cerdo
Cree y abra un archivo de script Apache Pig en un editor (por ejemplo, gedit).
Mando : sudo gedit /home/edureka/output.pig
Este comando creará un archivo 'output.pig' dentro del directorio de inicio del usuario edureka.
Escribamos algunos comandos PIG en el archivo output.pig.
A = LOAD '/edureka/information.txt' usando PigStorage ('') como (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A generar FName, MobileNo, Profession DUMP segundoGuarde y cierre el archivo.
- El primer comando carga el archivo 'información.txt' en la variable A con un esquema indirecto (FName, LName, MobileNo, City, Profession).
- El segundo comando carga los datos requeridos de la variable A a la variable B.
- La tercera línea muestra el contenido de la variable B en el terminal / consola.
Paso 2: Ejecute el script de Apache Pig
cuál es el uso de la programación de socket
Para ejecutar el script pig en modo HDFS, ejecute el siguiente comando:
Mando : cerdo /home/edureka/output.pig
Una vez finalizada la ejecución, revise el resultado. Estas imágenes a continuación muestran los resultados y su mapa intermedio y reducen las funciones.
La imagen de abajo muestra que el script se ejecutó correctamente.
La siguiente imagen muestra el resultado de nuestro script.
¡Felicitaciones por ejecutar su primer script de Apache Pig con éxito!
Ahora ya sabe cómo crear y ejecutar el script Apache Pig. Por lo tanto, nuestro próximo blog en cubrirá cómo crear UDF (funciones definidas por el usuario) en Apache Pig y ejecutarlo en modo MapReduce / HDFS.
Ahora que ha creado y ejecutado Apache Pig Script, consulte el por Edureka, una empresa de aprendizaje en línea de confianza con una red de más de 250.000 alumnos satisfechos repartidos por todo el mundo. El curso de formación de certificación de Edureka Big Data Hadoop ayuda a los alumnos a convertirse en expertos en HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume y Sqoop utilizando casos de uso en tiempo real en el dominio de comercio minorista, redes sociales, aviación, turismo y finanzas.
Tienes una pregunta para nosotros? Menciónalo en la sección de comentarios y nos comunicaremos contigo.