zoukankan      html  css  js  c++  java
  • 炼数成金hadoop视频干货02


    视频地址:http://pan.baidu.com/s/1dDEgKwD


    这个视频理论性太强,不过倒是给了自己唯一的选项就是自己实践,不用像以前那样视频中敲一个字符,我也敲一个字符


    讲到的内容:

    介绍了三本书

      

    讲师说第一本适合入门者,重实验,但是里面错误不少;第二本重理论,讲的深;第三本是高级人员才能看的,属于源码级别的书,深入解析了HDFS源码,并教你怎么修改以让你的HDFS最大限度的优化到完美对接自己的项目。

    无疑,这才是我想搞定的。


    接下来讲了怎么安装hadoop

    伪分布式

    完全分布式

    以及各个配置文件的用处

    看完了我也实践了一把,不难,和高版本的区别不大,而且少了yarn的配置

    伪分布式配置文档:http://pan.baidu.com/s/1eQkY3Ge

    完全分布式配置文档:http://pan.baidu.com/s/1hq9qYOG


    SSH原理:

    这还真是之前没有意识到要了解的


    scp命令

    -r 参数是迭代复制,把文件夹中的子文件夹和文件都复制


    Google的倒排索引表存在哪儿?因为它没用关系数据库。bigtable,算是一种数据结构,和关系数据库的表有区别。

    它也是hadoop子项目HBase的前身


    hadoop为什么需要SSH免密码?

    我自己也不是很清楚。

    应该是hadoop节点之间的某种通讯用到了SSH协议,但又不能每次都手动输入密码,所以...


    tar zxvf 参数的含义

    x : 从 tar 包中把文件提取出来
    z : 表示 tar 包是被 gzip 压缩过的,所以解压时需要用 gunzip 解压
    v : 显示详细信息
    f :指定被处理的文件名

    
    

    hadoop-env.sh 是hadoop的环境变量文件


    fs.default.name

      描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址

    但是我貌似了解到它另一层意思是声明了用了哪个文件系统,因为hadoop支持不止一种文件系统,比如参数值为hdfs://master:9000,那么指定hadoop使用HDFS文件系统,namenode的地址和端口是...


    勇敢怀疑你有任何疑问的地方。


    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    POJ 2018 二分
    873. Length of Longest Fibonacci Subsequence
    847. Shortest Path Visiting All Nodes
    838. Push Dominoes
    813. Largest Sum of Averages
    801. Minimum Swaps To Make Sequences Increasing
    790. Domino and Tromino Tiling
    764. Largest Plus Sign
    Weekly Contest 128
    746. Min Cost Climbing Stairs
  • 原文地址:https://www.cnblogs.com/admln/p/dataguru2.html
Copyright © 2011-2022 走看看