zoukankan      html  css  js  c++  java
  • 配置集群遇到的问题

    关于Hadoop配置项的一点说明 
    尽管仅仅须要配置 fs.defaultFS 和 dfs.replication 就能够执行(官方教程如此)。只是若没有配置 hadoop.tmp.dir 參数,则默认使用的暂时文件夹为 /tmp/hadoo-hadoop,而这个文件夹在重新启动时有可能被系统清理掉,导致必须又一次执行 format 才行。所以我们进行了设置。同一时候也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

    使用 netstat -anop  找到被占用的接口

    netstat -ano     //显式网络情况

                            //-a : 所有socket

                            //-n : 显式数字地址

                           //-p : pid

                           //-o : timer

    50070 namenode  http

    50075 datanode    http

    50090 secondarynamenode  http

    50010 datanode  rpc port

    8020 namenode rpc port

    kill -9  xxxx 【用-9 最高权限终结进程

    kill -9  xxxx


    问题:先看这四个文件配置-->

    1:resolv.conf

    2:hosts

    3:hostname

    4:sysconfig/network-scripts/ifcfg-ens33

    只有一个JPS进程 

    1:没有格式化 Hadoop namenode-format

    2:四个 .xml文件的配置

    3:主机名不要使用符号【字母加数字】


    没进程缺失但web页面打不开

    物理机与虚拟机之间网路不通 【不能互相ping】

    是否有VM1 ,VM8网络适配器--->使用VMware清理工具,卸载清理再安装


    只有百度ping不通

    resolv.conf 是否配置nameserver 若配置 --->在resolv.conf添加Google公共DNS

    nameserver 8.8.8.8

    nameserver 114.114.114.114


    复制他人的镜像

    查看自己的VM8的ip端范围,网关(DNS)

    配置hostshostname

    resolv.conf

    sysconfig/network-scripts/ifcfg-ens33【如果有多个ifcfg开头的都删掉


    centos用户远程连接需要输入密码---->【权限问题】

    centos 用户下:

    1、~/.ssh/authorized_keys的授权文件权限

    chmod 644 authorized_keys

    2、~/.ssh 文件夹的权限

    chmod 700 .ssh

    root用户下:

    只要不让别人写数据,就可以

     


    SecondaryNamenode 无法启动

    在日志中查看错误:

    ------------Hadoop中的权限问题

    chown centos:centos

    chmod ug+rwx

    正常情况:

    回首间---我错过了那片星海
  • 相关阅读:
    内向者生存手册
    不良言论屏蔽方案探讨——附加一点思考
    提高复用性的编码习惯
    如何管好.net的内存
    谨防信息超载
    .net的反对派们,精神比表面的东西更重要
    为什么我老是半途而废?
    对不起,我也是来给.Net泼冷水的(山寨版)
    把重要的事情先做好
    学英语(外语)的一个误区
  • 原文地址:https://www.cnblogs.com/Vowzhou/p/10144769.html
Copyright © 2011-2022 走看看