zoukankan      html  css  js  c++  java
  • 4 weekend110的hdfs&mapreduce测试 + hdfs的实现机制初始 + hdfs的shell操作 + 无密登陆配置

     

      不多说,直接上干货!

     

    Hdfs是根/目录,windows是每一个盘符

    1  从Linux里传一个到,hdfs里去

    2  从hdfs里下一个到,linux里去

    想从hdfs里,下载到linux,

    涨知识,记住,hdfs是建立在linux上,

    现在,hdfs里还有jdk-7u65-linux-i586.tar.gz,好,linux里,没有了jdk-7u65-linux-i586.tar.gz。

    在抽象的hdfs文件系统里,存在datanode那个机器的抽象的hdfs文件系统里,

    其实,刚下载,是从datanode文件夹里,下载,通过http协议,下载得到,

    http://192.168.1.101:50070 (HDFS管理界面)

    http://192.168.1.101:8088 (MR管理界面)

    mr程序,打成jar包,自带的,都在share里,

    关于common、hdfs、mapreduce、yarn的例子程序,都在这里。

    hdfs的实现机制初始

    说明,hadoop的身份验证,是比较弱的,

    方便,查看,清理大文件,跟windows里,一样

          非常不灵活,在生产,一般用API去操作。

    无密码登陆配置

     

    SSH除了密码机制,还有秘钥机制。

      成功实现,无密码登陆设置!!!

  • 相关阅读:
    Es索引优化
    Echarts-JAVA
    黑客容易攻击的端口
    基于流数据挖掘的网络流量异常检测及分析研究
    大数据可视化分析-绿盟
    Cron
    spring mvc 使用及json 日期转换解决方案
    PIXLCLOUND
    Moloch
    MySQL JDBC的setFetchSize
  • 原文地址:https://www.cnblogs.com/zlslch/p/5893174.html
Copyright © 2011-2022 走看看