zoukankan      html  css  js  c++  java
  • hadoop 常用命令总结

    1. 查看集群资源信息

    hdfs dfsadmin -report

    2. 启动一个mapreduce任务,

    hadoop jar /opt/hadoop/share/hadoop/tools/lib/hadoop-streaming-3.0.0-alpha2.jar -input /test -output /output -mapper  cat -reducer wc

    中间日志出现一些:

    2017-02-13 15:24:31,650 INFO mapreduce.Job: Task Id : attempt_1486627264009_0001_r_000000_0, Status : FAILED
    Container [pid=8634,containerID=container_1486627264009_0001_01_000014] is running beyond virtual memory limits. Current usage: 148.8 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.

    原因还未明了

    3. 查看

    hadoop fs -ls /output 
    hadoop fs -cat /output/part-00000 
    从其他地方拉过来的命令

            1 成功将linux文件系统中的文件拷贝至hdfs文件系统中的某一个路径下: hadoop dfs -put  linux源文件路径   hadoop的hdfs文件路径

            2 成功将hdfs文件系统中的文件拷贝至linux文件系统中的某一个路径下: hadoop dfs -get  hadoop的hdfs文件路径 linux源文件路径  

            3 知道如何显示hdfs文件系统中的文件: hadoop dfs -ls hdfs的文件路径

            4 知道如何在hdfs文件系统制作文件的副本: hadoop dfs -cp 原文件  目标文件

            5 知道如何在hdfs文件系统中删除某一个文件: hadoop dfs -rm 要被删除的目标文件

            6 如果要删除hdfs上的文件目录呢?这里不再展示,直接命令:hadoop dfs -rmr hdfs系统上的文件目录名

    在尝试学习新的语言之前先理解这门语言的设计原理能够让你在探索这门新语言时保持一个清醒而且开发的状态。
  • 相关阅读:
    TCP/IP详解学习笔记(3)IP协议ARP协议和RARP协议
    TCP/IP详解学习笔记(2)-数据链路层
    TCP/IP详解学习笔记(1)-基本概念
    HTTP协议学习
    Windows下Git多账号配置,同一电脑多个ssh-key的管理
    Linux定时任务Crontab命令详解
    样式化复选框(Styling Checkbox)
    emmm 深入浅出教你看懂现代金融游戏
    今日工作收获(2018/2/27)
    html upload_file 对象(2018/02/26)工作收获
  • 原文地址:https://www.cnblogs.com/jackchen001/p/6393922.html
Copyright © 2011-2022 走看看