zoukankan      html  css  js  c++  java
  • 配置集群遇到的问题

    关于Hadoop配置项的一点说明 
    尽管仅仅须要配置 fs.defaultFS 和 dfs.replication 就能够执行(官方教程如此)。只是若没有配置 hadoop.tmp.dir 參数,则默认使用的暂时文件夹为 /tmp/hadoo-hadoop,而这个文件夹在重新启动时有可能被系统清理掉,导致必须又一次执行 format 才行。所以我们进行了设置。同一时候也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

    使用 netstat -anop  找到被占用的接口

    netstat -ano     //显式网络情况

                            //-a : 所有socket

                            //-n : 显式数字地址

                           //-p : pid

                           //-o : timer

    50070 namenode  http

    50075 datanode    http

    50090 secondarynamenode  http

    50010 datanode  rpc port

    8020 namenode rpc port

    kill -9  xxxx 【用-9 最高权限终结进程

    kill -9  xxxx


    问题:先看这四个文件配置-->

    1:resolv.conf

    2:hosts

    3:hostname

    4:sysconfig/network-scripts/ifcfg-ens33

    只有一个JPS进程 

    1:没有格式化 Hadoop namenode-format

    2:四个 .xml文件的配置

    3:主机名不要使用符号【字母加数字】


    没进程缺失但web页面打不开

    物理机与虚拟机之间网路不通 【不能互相ping】

    是否有VM1 ,VM8网络适配器--->使用VMware清理工具,卸载清理再安装


    只有百度ping不通

    resolv.conf 是否配置nameserver 若配置 --->在resolv.conf添加Google公共DNS

    nameserver 8.8.8.8

    nameserver 114.114.114.114


    复制他人的镜像

    查看自己的VM8的ip端范围,网关(DNS)

    配置hostshostname

    resolv.conf

    sysconfig/network-scripts/ifcfg-ens33【如果有多个ifcfg开头的都删掉


    centos用户远程连接需要输入密码---->【权限问题】

    centos 用户下:

    1、~/.ssh/authorized_keys的授权文件权限

    chmod 644 authorized_keys

    2、~/.ssh 文件夹的权限

    chmod 700 .ssh

    root用户下:

    只要不让别人写数据,就可以

     


    SecondaryNamenode 无法启动

    在日志中查看错误:

    ------------Hadoop中的权限问题

    chown centos:centos

    chmod ug+rwx

    正常情况:

    回首间---我错过了那片星海
  • 相关阅读:
    【开发者笔记】MQTT python测试笔记
    【工具】代码生成器-python脚本
    【开发者笔记】进制转换
    【开发者笔记】按List中存放对象的某一字段计数的问题
    【开发者笔记】二分法查找
    【数据库学习】聚合函数的使用
    【开发者笔记】学习区块链过程中的一些理解
    【spring学习】中文乱码问题
    【开发者笔记】我也来画一个手机
    【开发者笔记】java 利用jna调用c#的dll
  • 原文地址:https://www.cnblogs.com/Vowzhou/p/10144769.html
Copyright © 2011-2022 走看看