zoukankan      html  css  js  c++  java
  • 大数据hadoop环境搭建伪分布式模式

    伪分布式模式的配置是按照完全分布式模式来搭建的,但是他只有一台服务器,适合用于学习。

    下面的文件配置都是尚硅谷课程中做的笔记:

    配置集群:

    需要配置文件:

    第一个文件:

     

     第二个文件:

     第三个文件:

     默认的副本数是3,

    接下来就要启动集群,

    第一步:格式化namenode(只有第一次需要格式化,格式化就是把集群上的数据全部清空)

    bin/hdfs namenode -format

    第二部 :启动NameNode

    sbin/hadoop-daemon.sh start namenode

     查看是否启动成功

    第三步:启动DataNode

    sbin/hadoop-daemon.sh start datanode

     检查是否可以工作了,通过 netstat -ntlp 命令查看端口号:

     在windows的浏览器中输入网址:hadoop1:9870

     如果这个网址出不来,可以检查防火墙是否关闭,检查windows和虚拟机是否相互可以ping通。

    在伪分布式模式下,创建文件:

    bin/hdfs dfs -mkdir -p /uesr/atguigu/input

     在这个网站里就可以看到刚刚创建的内容。

     现在这里就相当于本地文件,要把本地文件wcinput上传到hdfs,

    bin/hdfs dfs -put wcinput/wc.input /user/atguigu/input

     接下来在hdfs上运行一个wordcount

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /user/atguigu/input /user/atguigu/output

     

  • 相关阅读:
    地址标记,SpringMVC转发与调用相关知识存档
    SpringMVC+MyBatis项目分析与开发实例
    程序开发思路
    web.xml相关知识摘录整理
    Spring AOP
    Spring+Struts2/Hibernate 学习笔记
    Spring学习笔记 Part.01
    用java实现简单TCP服务器监听
    c语言希尔排序,并输出结果(不含插入排序)
    用java实现AVL树并打印结果
  • 原文地址:https://www.cnblogs.com/zhaoxinhui/p/15484698.html
Copyright © 2011-2022 走看看