zoukankan      html  css  js  c++  java
  • hadoop大数据分析与挖掘实战(读书笔记2)

    8/8(2)这个第二章节就是讲安装Hadoop

    8/9(3)非常痛苦

    安装hadoop前的设置

    (1)昨天很快的配置了VMWARE网络,但是一开始就是错的。一开始我的网关地址就是和书上的不一样。

    但是子码掩码是一样的,但是我用了书上的网关地址。

    (2)然后就是非常正常的操作,一气呵成的操作。

    1.useradd hadoop 2.passwd hadoop  

    3.chmod u+w /  4.vim /etc/sudoers

    在root ALL=(ALL) ALL 下添加 hadoop ALL=(ALL) ALL

    chmod u -w /etc/sudoers

    (3)之后就是设置静态IP

    也是在这里把网关地址设置错了。

    (4)修改etc/sysconfig/network

    这里也是把网关的地址修改错了,网关错误。

    (5)修改DNS信息也是没有修改全

    而且莫名其妙的是为什么DNS的要修改成网关的地址。

    还要写个search bogon下去?

    (6)然后修改了etc/host 里面的内容

    把什么master slave 设置了,但是是按照书本设置的,所以地址肯定是错的。

     shhd服务必须要启动service network

    然后sudo scp /etc/host root@slave1:/etc这个语句执行不了,因为没有网络服务。但是不一定,因为可能是两个slave的

    ip地址没有设置好的问题。而且我也没有去试试。我要先明确一点,必须先搞定service network restart的问题。确定可以联网。

    才可以连接sshd。

    所以以上的种种设置,可能需要结合我的机器的情况设置。但是没有,所以就一直一直一直一直

    无法service network restart。无法启动各项网络任务。

    于是经过了重重关卡,我终于成功启动service network!

     有几个重要的文件需要处理 /etc/sysconfig/network-scripts/ifcfg-ens33 我重修改成了:

    然后还有etc/sysconfig/network

    我全部用一个#注释掉了。

    还有etc/resolv.conf

    也是全部一个#注释掉了。而且最重要的,操作完后,一定一定要重启!重启!重启!重启!重启!重启!

    最后终于成功了!!!

    这是配置。

    结果万万没有想到,今天重新打开,一样的ifcfg-ens33

    一样的network 一样的resolv.conf,然后居然重启网络失败。非常困惑。

    打开IP ADDR 没有看到地址。

    其实问题也不难,就是需要清楚一点。这里有三个虚拟机,共用一张网卡吗?不行

    所以需要注释掉两个 奴隶机 的UUID 和 硬件地址,顺便把设备名字也注释掉。然后重启,按顺序开机。

    转换思路1:

    结果折腾了很久很久,都不得上网。所以我放弃,转换思路。安装几个不同的 不是彼此克隆 都是独立安装的centos。

    之前原来安装 centos 的时候,发现一直是最小安装,原来可以搭上桌面没有必要去yum intsall 一个桌面。而且配置网络也是,

    一开始就可以把主机名,静态IP,DSN设置好。(关于DSN可以查这:https://www.douban.com/note/373697762/)

    目前就用114.114.114.114。

    然后用ssh slave的ip 结果出错。

    不能用克隆主机制造奴隶机,必须独立安装奴隶机。

    在等待了些许时间后,总算装好了一个主人机,和一个奴隶机。都是独立安装,所以终于不存在上网问题了。

    然后用SSH 的时候,也可以连接。但是需要密码。所以现在需要免登录SSH。

    至于免登录系统,实在是很难。因为我已经把把公匙考到了.ssh文件夹里去了。但是仍然提示要登陆密码。

    终于解决了这个ssh 免登录的问题。用cat 检查了日志之后发现一点奇怪之处。

    发现checking getaddrinfo 出错,invalid user sam...所以我猜测应该是/etc/hosts 文件没写好。果然

    我/etc/hosts 文件里 192.168.133.150 Master 是错误的,正确的应该是  192.168.133.151 Master。

    后来重新生成了密匙后,拷贝过去,成功了。

    然后安装hadoop,然后做了相关的配置。

    码下了hdfs namenode -format 找不到命令。

    然后 start -dfs.sh 这个命令产生了很多问题。

    start -yarn.sh 这个命令也产生了很多问题。

    然后这个jps 是有反应的。但是

    slave 机没有反应。

  • 相关阅读:
    ArrayList removeRange方法分析
    LinkedHashMap源码分析(基于JDK1.6)
    LinkedList原码分析(基于JDK1.6)
    TreeMap源码分析——深入分析(基于JDK1.6)
    51NOD 2072 装箱问题 背包问题 01 背包 DP 动态规划
    51 NOD 1049 最大子段和 动态规划 模板 板子 DP
    51NOD 1006 最长公共子序列 Lcs 动态规划 DP 模板题 板子
    8月20日 训练日记
    CodeForces
    CodeForces
  • 原文地址:https://www.cnblogs.com/zzzPark/p/7298348.html
Copyright © 2011-2022 走看看