zoukankan      html  css  js  c++  java
  • 大数据系列(4)——Hadoop集群VSFTP和SecureCRT安装配置

    前言

    经过前三篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,当然,我相信安装的过程肯定遇到或多或少的问题,这些都需要自己解决,解决的过程就是学习的过程,本篇的来介绍几个Hadoop环境中需要用到的软件,确切的说是两款:VSFTP和SecureCRT。

    闲言少叙,进入本篇的正题。

    背景

    这里简要说明下这两款软件的作用。

    1、VSFTP这个从字面就能理解就是搭建FTP服务器用的,为什么要搭建FTP服务呢?

    我相信,如果按部就班的按照我之前的文章全装Hadoop的童鞋会发现一个很繁琐的过程,那就是各种配置文件的更改和拷贝,并且,因为我们是在Linux系统中操作,所以需要各种命令的熟练操作,是不是很恶心!

    所以为了方便上述流程的操作,就需要搭建VSFTP环境,并且配合Notepad++这款软件的使用,会让你插上梦想的翅膀....飞啊飞...

    当然,还有一点就是,一般我们都是远程操作的,FTP上传下载文件就更方便了。 

    2、SecureCRT这个软件是干嘛用的?

    先来段官网的介绍,SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。

    说的简单点,就是通过这个软件远程操作CentOS操作系统。我相信用弄过Linux操作系统,这个应该很熟悉。 

    技术准备

    VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++

    安装流程

    以上软件需要自行从网上下载,文章最后也能给出部分软件的下载附件。

    下面,咱们进去分布式系统的详细操作过程。

    1、首先来配置VSFTP环境(root)。

    这里的操作需要提权用超级管理员进行安装,而且一般只需要配置Master主机就可以了,因为大部分操作通过Master就可以进行控制。

    • 第一步就是检查VSFTP是否已经安装,检查方法如下。
    chkconfig | grep vsftpd

    如果跟上面的过程没有返回任何结果,那么说明当前机器没有安装VSFTP。

    • 第二步,利用yum命令直接下载安装

    这里,如果经过上一步骤检查,发现安装,则利用yum命令进行下载安装,需要提示的是:这里机器需要联网

     

    yum -y install vsftpd

     

    经过,上述步骤就可以成功的安装VSFTP软件了。

    下一步,就是进行一些FTP的配置了。

    • 第三步,手动创建FTP软件的Log日志文件。

    这里需要手动的创建一个文件,目的是来记录Log日志。我们知道在Linux系统中一般所有的临时文件都放在系统自带的var目录下。

    touch  /var/log/vsftpd.log

    • 第四步,将FTP的服务设置成自启动,这样就能开机就能使用。

    这里,需要将我们下载的VSFTP服务设置成自启动,方便与我们的的使用。

    chkconfig  vsftpd on

    经过上面的验证,我们已经确保vsftpd服务已经开机自启动。

    当然,对于这个服务的启动和关闭,可以通过如下方式进行手动的设置。但是这种设置只要一重启服务器就会失效。

    启动ftp服务:service vsftpd start

    查看ftp服务状态:service vsftpd status

    重启ftp服务:service vsftpd restart

    关闭ftp服务:service vsftpd stop

     

     

     

     

    •  第五步,配置VSFTP服务的配置文件。 
    ls /etc/vsftpd

    进入vsftpd的安装目录,需要配置vsftpd.conf文件。

    vim /etc/vsftpd/vsftpd.conf 

    anonymous_enable=YES --> anonymous_enable=NO //不允许匿名用户访问,默认是允许

    xferlog_file=/var/log/vsftpd.log #设定vsftpd的服务日志保存路径。注意,该文件默认不存在。必须要手动touch出来

    #idle_session_timeout=600 --> idle_session_timeout=600 //会话超时,客户端连接到ftp但未操作,默认被注释掉,可根据个人情况修改

    #async_abor_enable=YES --> async_abor_enable=YES //支持异步传输功能,默认是注释掉的,去掉注释

    #ascii_upload_enable=YES --> ascii_upload_enable=YES //支持ASCII模式的下载功能,默认是注释掉的,去掉注释

    #ascii_download_enable=YES --> ascii_download_enable=YES //支持ASCII模式的上传功能,默认是注释掉的,去掉注释

    #ftpd_banner=Welcome to blah FTP service //FTP的登录欢迎语,本身是被注释掉的,去不去都行

    #chroot_local_user=YES --> chroot_local_user=YES

    //禁止本地用户登出自己的FTP主目录,本身被注释掉,去掉注释

     

     

     

    按照上面的步骤进行配置就可以了。

     

     最后,给出一些其它配置的信息,可以根据自己需要进行配置。

    local_enable=YES //允许本地用户访问,默认就是YES,不用改

    write_enable=YES //允许写入,默认是YES,不用改

    local_umask=022 //上传后文件的权限掩码,不用改

    dirmessage_enable=YES //开启目录标语,默认是YES,开不开无所谓,我是默认就行

    xferlog_enable=YES //开启日志,默认是YES,不用改

    connect_from_port_20=YES //设定连接端口20

    xferlog_std_format=YES //设定vsftpd的服务日志保存路径,不用改

    pam_service_name=vsftpd //设定pam服务下vsftpdd的验证配置文件名,不用改

    userlist_enable=YES //拒绝登录用户名单,不用改

    TCP_wrappers=YES //限制主机对VSFTP服务器的访问,不用改(通过/etc/hosts.deny和/etc/hosts.allow这两个文件来配置)

     

     

     

    到此,我们的VSFTP软件已经安装完成,下面我们就来验证一下。

    •  第六步,验证VSFTP服务。 

    其实这里验证的方式就比较多了,比如我们常用的FTP软件都可以,或者你直接在命令行里面敲FTP命令验证也是可以的;

    这里我们直接使用Notepad++软件进行编辑,因为我们的大部分操作都是对文件进行编辑,所以这里就推荐这个了。

    关于,Notepad++软件的配置使用,这里就不介绍了,很简单,绿色软件下载下来就能使用,连安装都不需要。 

    点击按钮,进行FTP配置,过程很简单,这里我就不赘述了。

    其它选项,一般默认就可以了,当然可以根据需要自行配置。

    这里,我再链接的时候提示连接失败,所以这里需要几个点需要配置一下:

    <1>关闭防火墙。<2>关闭SELinux服务,编辑 "/etc/selinux/config"文件,设置"SELINUX=disabled"。

    然后最重要的一点就是:记得在配置完成配置文件之后,一定要重启VSFTP服务!!!实在不行,就重启服务器。

    脚本如下:

    service vsftpd restart

    然后,再尝试进行重新连接。

     

    好,至此,我们已经能够通过FTP直接连接到我们的Hadoop Master主机的目录了,但是从上面的界面可以看到这里默认的目录只是hadoop用户进入的目录。

    显然,这样是不行,因为我们配置的信息基本都是分布于系统的/etc目录下,所以我们需要将VSFTP的默认设置路径进行更改。

    在配置文件中增加以下内容:

    # add root path
    local_root=/
    chroot_local_user=YES
    anon_root=/

    然后,重启VSFTP的服务,重新连接服务器就可以了。

    看上去是不是清爽多了。在这里,我们更改配置文件就简单多了,会用记事本程序就可以操作,而且避免了一些复杂的linux命令,神马Vim等,让他们去死。

    看上去是不是清爽多了,而且上传和下载个文件都是那么容易的。

    所以,总之一句话:这款软件你值得拥有!

     

    2、使用SecureCRT软件远程管理Linux操作系统

    这里关于 SecureCRT软件的使用就很简单了,基本没有啥复杂的配置,就是一个远程操作软件,属于用户密码就可以直接操作。

    更主要的这款软件和上面的Notepad++一样,纯绿色版的,直接双击就可以使用。

    下面,我们来演示下。

    • 点击按钮,创建回话

    • 然后, 编辑连接信息,记住这里要选择SSH2这种方式。

    • 编辑连接信息,输入用户名

    • 最后,选择一种FTP连接协议,这里选择默认就可以了。

    • 给当前的连接起一个名字就可以了。

    在完成配置的时候,记得将如下两个选项勾选上。

     

    • 然后选择相应的服务器,连接就可以了,这里一般我们需要管理多台服务器,所以按照上面的步骤将所需要的都进行配置。

    在第一次连接的时候,需要生成密钥,这里记得选择接受并保存按钮。这样下次就不需要输入任何密码了。

    连接成功之后就是上面的德行了,是不是很酷?

    哈哈...这里还需要几个小细节的设置,来提示下,首先显示的字体和颜色,需要从这里设置:

    这里选择的仿真终端要选择Linux,告诉软件,我连接的是Linux系统。让他自动识别某些命令。

    然后,就是字符编码和显示字体,颜色等了,可以根据自己喜好进行选择,但是编码方式一定要选择UTF-8这种方式,因为只有这种方式显示的中文文件才不至于乱码!

    然后,就可以在窗口中进行命令的操作了。简单大气,非常实用的一款软件。

    然后,就是各种玩了。

     

    结语

    此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。

    本篇主要介绍了在我们日常进行远程Linux系统管理所需要的两款实用软件...当然,这些只是一些工具,所带来的好处就是方便操作。这里需要强调的是:基础积累很重要!

    最后给出软件的安装介质,算了,博客园限制大小,上传失败,可以私信联系我,大家可以自行官网下载,我是不推荐盗版的,你懂得。

    有问题可以留言或者私信,随时恭候有兴趣的童鞋加大数据平台深入研究。共同学习,一起进步。 

    文章的最后给出之前几篇的基础篇:

    大数据系列(1)——Hadoop集群坏境搭建配置 

    大数据系列(2)——Hadoop集群坏境CentOS安装

    大数据系列(3)——Hadoop集群完全分布式坏境搭建

    如果您看了本篇博客,觉得对您有所收获,请不要吝啬您的“推荐”。

    更有激动者,为您开辟了右侧打赏的功能。

  • 相关阅读:
    docker固定IP地址重启不变
    关于 CentOS 7 里面 普通用户 Ulimit max user processes 值的问题
    CentOS tengine mysql 5.7 php 5.6
    strace 分析 跟踪 进程错误
    WPF中的字体改善
    C#数据类型-string
    WPF中的文字修饰
    Winform与WPF对话框(MessageBox, Dialog)之比较
    WPF中将四个数字字符串值(比如:"10,10,300,300")转为Rect
    WPF中嵌入Flash(ActiveX)
  • 原文地址:https://www.cnblogs.com/zhijianliutang/p/5815847.html
Copyright © 2011-2022 走看看