一、Hadoop命令行操作
(1)查看帮助
$hdfs dfs -help
(2)查看当前目录信息
$hdfs dfs -ls /
(3)上传文件
$hdfs dfs -put /本地路径 /hdfs路径
(4)剪切文件
$hdfs dfs -moveFromLocal a.txt /aa.txt
(5)下载文件到本地
$hdfs dfs -get /hdfs路径 /本地路径
(6)合并下载
$hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件
(7)创建文件夹
$hdfs dfs -mkdir /hello
(8)创建多级文件夹
$hdfs dfs -mkdir -p /hello/world
(9)移动hdfs文件
$hdfs dfs -mv /hdfs路径 /hdfs路径
(10)复制hdfs文件
$hdfs dfs -cp /hdfs路径 /hdfs路径
(11)删除hdfs文件
$hdfs dfs -rm /aa.txt
(12)删除hdfs文件夹
$hdfs dfs -rm -r /hello
(13)查看hdfs中的文件
$hdfs dfs -cat /文件
$hdfs dfs -tail -f /文件
(14)查看文件夹中有多少个文件
$hdfs dfs -count /文件夹
(15)查看hdfs的总空间
$hdfs dfs -df /
$hdfs dfs -df -h /
(16)修改副本数
$hdfs dfs -setrep 1 /a.txt
二、熟悉HDFS操作常用的Java API
1.Elipse安装和配置
(1)下载elipse官方的installer:https://www.eclipse.org/downloads/download.php?file=/oomph/epp/2019-03/R/eclipse-inst-linux64.tar.gz,解压后双击运行报错:A Java Runtime Environment (JRE) or Java Development Kit (JDK) must be available in order to run Eclipse. No Java virtual machine was found after searching the following locations:……。则:Eclipse解压包中创建一个叫做jre的文件夹并且进入其中,在终端中打开,在jre中创建链接:ln -s /usr/lib/jvm/java/bin bin,双击运行成功。
(2)启动Hadoop
$ cd /usr/local/hadoop/
$ ./sbin/start-dfs.sh
$ jps
2.使用Maven创建一个新的项目,命名位“HelloHdfs”
(1)选择创建项目的方式
(2)使用maven创建
(3)选择项目存放路径,这里使用默认路径,然后点击下一步“next”
(4)选择项目原型,这里选择“maven-archetype-quickstart”,然后点击下一步“next“
(5)填写项目参数
Group Id:组织的名称,即包名的前一段,比如说包名是“com.techvalley.hdfs.uploadmain”,那么“com.techvalley.hdfs”就是组织的名称。
Artifact Id:项目的名称HelloHdfs。
Version: 版本,随便填写或者不填写,使用默认的即可。
Package:包名,填写后会自动生成一个包,可以删除,可以随意填写。
填写完成厚后点击“Finish”即可完成创建
(6)pom.xml添加项目需要使用到的jar包,采用添加依赖的方式。在<dependencies></dependencies>添加如下内容:
保存(等待build完毕)。
3.JAVA API操作
(1)向HDFS中上传任意文本文件
如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件。
(2)从HDFS中下载指定文件
如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名。
(3)将HDFS中指定文件的内容输出到终端
(4)显示HDFS中指定的文件读写权限、大小、创建时间、路径等信息。
(5)输出目录信息
给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息。如果该文件是目录,则递归输出该目录下所有文件相关信息.
(6)提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录。
(7)提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录。
(8)向HDFS中指定的文件追加内容,由用户定内容追加到原有文件的开头或结尾。
(9)在HDFS中将文件从源路径移动到目的路径