zoukankan      html  css  js  c++  java
  • 笔记本电脑安装单机版Hadoop环境心得体会

    家里闲置HP4CORE4GB笔记本一台,还是SSD内存,可不想浪费。所以计划用来做一套Hadoop实验环境。

    准备好的软件包括:

    CentOS 7 .7  (CentOS-7-x86_64-DVD-1908)

    Hadoop 2.9.2  

    HIVE 2.3.6 

    SQOOP 1.4.7

    JDK 8 (jdk-8u241-linux-x64)

    主要目标为:

    1. 重装笔记本电脑的操作系统到CentOS,并完成基础环境配置。

    2. Hadoop环境搭建和启动,能够使用HIVE和SQOOP工具进行数据抽取和数据操作。

    操作日志:(这里主要记录过程和碰到的坑,另外准备整理文章来记录详细操作和关键命令)

    1.准备:

    笔记本电脑原操作系统为Windows7,重装系统前,要做好资料备份,下载各种安装介质,最重要的是制作安装启动盘。使用UltraIOS制作优盘启动盘,8GB以上的优盘肯定够用,CentOS7.7安装介质镜像大约是4.4GB,这一步都还比较顺利。

    2. 安装

    配置BIOS启动顺序,使用优盘启动进入安装界面后,坑来了。选择安装方式,包括很多种类,最开始选择的最小化安装,但碰到最大的问题是,安装后,无线网卡无法使用。然后选择不带GUI的服务器模式,问题依旧。尝试自行配置无线网卡来解决,无奈失败。最后选择带GUI的服务器模式,终于能够连上wifi了。所以,强烈建议是:在笔记本电脑上安装CentOS时,一定要选择使用图形界面,不然缺少很多必要的驱动程序

    图形界面比较占用内存,所以安装成功后,还需要修改系统默认启动方式为命令行界面,这样以后打开电源键,之后就可以不管了。需要使用时,直接通过其他机器通过ssh方式连接控制即可。

    至此,CentOS安装配置完毕。

    3. Hadoop安装

    这类安装的文章一搜一大把,照着资料做即可,到没有什么困难。但关于硬件资源要提一提,之前本来想把Hadoop环境搭建到自己的阿里云服务器上。但自己的服务器配置只有1CORE1GB,安装到没问题,但只要一启动,即使调整配置的启动资源,仍然会把云服务器撑死机。原因是最便宜的阿里云机器,只可以使用20%一下的CPU资源,一旦长时间超过20%,就会变得很卡顿。所以要么购买更高配置的云服务器,要么就只能使用自己的机器。

    另外要提一点,默认的CentOS7,使用的是firewall而非iptables,所以启动服务器后,配置防火墙的方式和网上很多文章不同,也花了不少时间才发现和解决。

    附上整理的相关文章:

    https://www.cnblogs.com/hupingzhi/p/12286572.html

    https://www.cnblogs.com/hupingzhi/p/12286583.html

     https://www.cnblogs.com/hupingzhi/p/12286630.html

     https://www.cnblogs.com/hupingzhi/p/12286638.html

     https://www.cnblogs.com/hupingzhi/p/12286640.html

  • 相关阅读:
    .NET I/O 学习笔记:目录和文件
    WCF学习笔记(1)——Hello WCF
    《Effective C#》读书笔记——条目10:使用可选参数减少方法重载的数量<C#语言习惯>
    .NET I/O 学习笔记:文件的读和写
    开场白:我关注反洗钱、大家都来关注反洗钱
    关于EOM(Enterprise Operating Model)企业经营模型(12)
    关于EOM(Enterprise Operating Model)企业经营模型(7)
    关于EOM(Enterprise Operating Model)企业经营模型(9)
    关于EOM(Enterprise Operating Model)企业经营模型(10)
    关于EOM(Enterprise Operating Model)企业经营模型(11)
  • 原文地址:https://www.cnblogs.com/hupingzhi/p/12286415.html
Copyright © 2011-2022 走看看