Comandos HDFS
En mi blogs anteriores , Ya he hablado de qué es HDFS, sus características y arquitectura. El primer paso hacia el viaje hacia está ejecutando comandos HDFS y explorando cómo funciona HDFS. En este blog, hablaré sobre los comandos HDFS mediante los cuales puede acceder al sistema de archivos Hadoop.
Entonces, déjeme decirle los comandos HDFS importantes y su funcionamiento que se utilizan con más frecuencia cuando se trabaja con Hadoop File System.
fsck
Comando HDFS para verificar el estado del sistema de archivos Hadoop.
Mando: hdfs fsck /
java que es una instancia
ls
Comando HDFS para mostrar la lista de archivos y directorios en HDFS.
Mando: hdfsdfs –Ls /
mkdir
Comando HDFS para crear el directorio en HDFS.
Uso: hdfs dfs –mkdir / nombre_directorio
Mando: hdfs dfs –mkdir / new_edureka
Nota: Aquí estamos intentando crear un directorio llamado 'new_edureka' en HDFS.
toque
HDFS Comando para crear un archivo en HDFS con un tamaño de archivo de 0 bytes.
Uso: hdfs dfs –touchz / directorio / nombre de archivo
Mando: hdfs dfs –touchz / new_edureka / sample
Nota: Aquí estamos intentando crear un archivo llamado 'muestra' en el directorio 'new_edureka' de hdfs con un tamaño de archivo de 0 bytes.
de
Comando HDFS para verificar el tamaño del archivo.
Uso: hdfs dfs –du –s / directorio / nombre de archivo
Mando: hdfs dfs –du –s / new_edureka / sample
gato
HDFS Comando que lee un archivo en HDFS e imprime el contenido de ese archivo en la salida estándar.
Uso: hdfs dfs –cat / ruta / a / file_in_hdfs
Mando: hdfs dfs –cat / new_edureka / test
texto
Comando HDFS que toma un archivo fuente y genera el archivo en formato de texto.
Uso: hdfs dfs –texto / directorio / nombre de archivo
Mando: hdfs dfs –text / new_edureka / test
copyFromLocal
Comando HDFS para copiar el archivo de un sistema de archivos local a HDFS.
Uso: hdfs dfs -copyFromLocal
Mando: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka
Nota: Aquí, la prueba es el archivo presente en el directorio local / home / edureka y después de que se ejecute el comando, el archivo de prueba se copiará en el directorio / new_edureka de HDFS.
copyToLocal
Comando HDFS para copiar el archivo de HDFS al sistema de archivos local.
Uso: hdfs dfs -copyToLocal
Mando: hdfs dfs –copyToLocal / new_edureka / test / home / edureka
Nota: Aquí la prueba es un archivo presente en el directorio new_edureka de HDFS y después de que se ejecute el comando, el archivo de prueba se copiará al directorio local / home / edureka
excepción de puntero nulo en el programa de ejemplo de Java
poner
Comando HDFS para copiar una fuente única o múltiples fuentes del sistema de archivos local al sistema de archivos de destino.
Uso: hdfs dfs -put
Mando: hdfs dfs –put / home / edureka / test / user
Nota: El comando copyFromLocal es similar al comando put, excepto que la fuente está restringida a una referencia de archivo local.
obtener
Comando HDFS para copiar archivos de hdfs al sistema de archivos local.
Uso: hdfs dfs -get
Mando: hdfs dfs –get / user / test / home / edureka
Nota: El comando copyToLocal es similar al comando get, excepto que el destino está restringido a una referencia de archivo local.
contar
Comando HDFS para contar el número de directorios, archivos y bytes en las rutas que coinciden con el patrón de archivo especificado.
Uso: hdfsdfs -count
Mando: hdfs dfs –count / user
rm
Comando HDFS para eliminar el archivo de HDFS.
Uso: hdfs dfs –rm
Mando: hdfs dfs –rm / new_edureka / test
rm -r
Comando HDFS para eliminar todo el directorio y todo su contenido de HDFS.
Uso: hdfs dfs -rm -r
Mando: hdfs dfs -rm -r / new_edureka
cp
Comando HDFS para copiar archivos desde el origen al destino. Este comando también permite múltiples fuentes, en cuyo caso el destino debe ser un directorio.
Uso: hdfs dfs -cp
Mando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2
Mando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir
mv
Comando HDFS para mover archivos desde el origen al destino. Este comando también permite múltiples fuentes, en cuyo caso el destino debe ser un directorio.
Uso: hdfs dfs -mv
Mando: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2
borrar
Comando HDFS que vacía la papelera.
Mando: hdfsdfs-borrar
que es anaconda para python
rmdir
Comando HDFS para eliminar el directorio.
Uso: hdfs dfs -rmdir
Mando: hdfs dfs –rmdir / user / hadoop
uso
Comando HDFS que devuelve la ayuda para un comando individual.
Uso: hdfs dfs -uso
Mando: hdfs dfs -usage mkdir
Nota: Al usar el comando de uso, puede obtener información sobre cualquier comando.
Ayuda
Comando HDFS que muestra ayuda para un comando dado o todos los comandos si no se especifica ninguno.
Mando: hdfs dfs -help
Este es el final del blog de comandos de HDFS, espero que haya sido informativo y haya podido ejecutar todos los comandos. Para obtener más comandos de HDFS, puede consultar Apache Hadoopdocumentación aquí.
Ahora que ha ejecutado los comandos HDFS anteriores, consulte el por Edureka, una empresa de aprendizaje en línea de confianza con una red de más de 250.000 alumnos satisfechos repartidos por todo el mundo. El curso de formación de certificación de Edureka Big Data Hadoop ayuda a los alumnos a convertirse en expertos en HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume y Sqoop utilizando casos de uso en tiempo real en el dominio de Retail, Social Media, Aviación, Turismo, Finanzas.
Tienes una pregunta para nosotros? Menciónalo en la sección de comentarios y nos comunicaremos contigo.