zoukankan      html  css  js  c++  java
  • 超算私房菜之集群搭建

    ---恢复内容开始---

    集群搭建


    集群搭建,说是搭建,一般也就是配一些服务(超算主要用到SSH,NFS,NIS,并行环境)能使得多台机器协同运行。一般情况下,安装好系统后,将机器都接入交换机(以太或是IB),之后开启每一台机器开始进行服务的配置。既然是搭服务,那么就分别来说一下这些服务吧。
    这里我们有三个节点(mu01为管理节点,cu01/cu02位计算节点)。
    配置前提

    关闭防火墙、selinux、NetworkManager

    service iptables stop(关闭防火墙及其开机自启)
    chkconfig iptables off
    service NetworkManager stop
    chkconfig NetworkManager off
    注意selinux关闭时
    vim /etc/selinux/config 
    修改:SELINUX=disabled
    

    准备工作做的差不多了,接下来就开始进入我们的主题吧,不用多说,当然是听起来比较高大上的搭建服务啦!一起来get起来吧!
    服务1:SSH

    SSH服务,简单了说就是让集群里面的各节点可以通过无密码访问,这个服务说起来也是比较easy,只要你理解了公钥和私钥之间的认证关系,应该不成啥问题,通过下面简单的几部即可

    ssh-keygen -t rsa(在每台机器上进行)
    在每台服务器上生成密钥对后,将公钥复制到需要无密码登陆的服务器上:
    #ssh-copy-id -i  ~/.ssh/id_rsa.pub root@cu01
    #ssh-copy-id -i  ~/.ssh/id_rsa.pub root@cu02
    以上命令,可以自动将公钥添加到名为authorized_keys的文件中,在每台服务器都执行完以上步骤后就可以实现多台服务器相互无密码登陆了
    

    服务2:NFS

    NFS,通过他的英文(Network File System),大概也能知道他是一个基于网络的文件服务,简单地说就是文件共享服务,也是比较简单,一般通过下面的几部即可完成。
    管理节点:

    vim /etc/exports(若该文件存在,则先删除再重新建立)
    在该文件中加入如下语句
    /opt  *(rw,no_all_squash)
    /home  *(rw,no_all_squash)
    /usr/local  *(rw,no_all_squash)
    接下来启动NFS服务
    service nfs start
    chkconfig nfs on
    这样管理节点就配置完成了,简单吧O(∩_∩)O哈哈~
    

    计算节点:

    mount -t nfs -o mu01:/opt /opt
    mount -t nfs -o mu01:/home /home
    mount -t nfs -o mu01:/usr/local /usr/local
    

    计算节点也配置完了,是不是很简单,但是计算节点这样配置的话每次重启机器都需要重新挂载一下,鉴于此,我们把挂载NFS文件系统的命令写在/etc/fstab下,使其开机自动挂载

    vim /etc/fstab(文件最后加入以下内容)
    mu01:/opt          /opt         defaults  nfs   0 0
    mu01:/home         /home        defaults  nfs   0 0
    mu01:/usr/local    /usr/local   defaults  nfs   0 0
    

    服务3:NIS

    NIS服务就是让集群的用户同步,动手做一做吧,简单的几部就完成了

    setup 进入Authentication configuration在Use NIS 前面打上*号,选择next,然后随便提一个域名,域名下面填上管理节点主机名(这里假设是mu01),然后OK,下面是等一会让其加载完即可(一般时间会长一点,这里也可以直接Ctrl+c停掉)注意,这一步需要在每个节点上进行。
    

    管理节点

    sevice ypserv start
    chkconfig ypserv on
    /usr/lib/yp64/ypinit -m(一般的服务器都是64位的,若有32位的则执行/usr/lib/yp/ypinit -m)
    注意执行这一步的时候,第一次按下Ctrl+D;接下来直接回车即可。
    

    计算节点

    service ypbind restart
    chkconfig ypbind on
    

    至此,NIS配置完毕,需要注意的是每次在管理节点添加完用户后,需要更新一下数据库。

    cd /var/yp
    make
    

    shishupeng
    20151127

    ---恢复内容结束---

    集群搭建


    集群搭建,说是搭建,一般也就是配一些服务(超算主要用到SSH,NFS,NIS,并行环境)能使得多台机器协同运行。一般情况下,安装好系统后,将机器都接入交换机(以太或是IB),之后开启每一台机器开始进行服务的配置。既然是搭服务,那么就分别来说一下这些服务吧。
    这里我们有三个节点(mu01为管理节点,cu01/cu02位计算节点)。
    配置前提

    关闭防火墙、selinux、NetworkManager

    service iptables stop(关闭防火墙及其开机自启)
    chkconfig iptables off
    service NetworkManager stop
    chkconfig NetworkManager off
    注意selinux关闭时
    vim /etc/selinux/config 
    修改:SELINUX=disabled
    

    准备工作做的差不多了,接下来就开始进入我们的主题吧,不用多说,当然是听起来比较高大上的搭建服务啦!一起来get起来吧!
    服务1:SSH

    SSH服务,简单了说就是让集群里面的各节点可以通过无密码访问,这个服务说起来也是比较easy,只要你理解了公钥和私钥之间的认证关系,应该不成啥问题,通过下面简单的几部即可

    ssh-keygen -t rsa(在每台机器上进行)
    在每台服务器上生成密钥对后,将公钥复制到需要无密码登陆的服务器上:
    #ssh-copy-id -i  ~/.ssh/id_rsa.pub root@cu01
    #ssh-copy-id -i  ~/.ssh/id_rsa.pub root@cu02
    以上命令,可以自动将公钥添加到名为authorized_keys的文件中,在每台服务器都执行完以上步骤后就可以实现多台服务器相互无密码登陆了
    

    服务2:NFS

    NFS,通过他的英文(Network File System),大概也能知道他是一个基于网络的文件服务,简单地说就是文件共享服务,也是比较简单,一般通过下面的几部即可完成。
    管理节点:

    vim /etc/exports(若该文件存在,则先删除再重新建立)
    在该文件中加入如下语句
    /opt  *(rw,no_all_squash)
    /home  *(rw,no_all_squash)
    /usr/local  *(rw,no_all_squash)
    接下来启动NFS服务
    service nfs start
    chkconfig nfs on
    这样管理节点就配置完成了,简单吧O(∩_∩)O哈哈~
    

    计算节点:

    mount -t nfs -o mu01:/opt /opt
    mount -t nfs -o mu01:/home /home
    mount -t nfs -o mu01:/usr/local /usr/local
    

    计算节点也配置完了,是不是很简单,但是计算节点这样配置的话每次重启机器都需要重新挂载一下,鉴于此,我们把挂载NFS文件系统的命令写在/etc/fstab下,使其开机自动挂载

    vim /etc/fstab(文件最后加入以下内容)
    mu01:/opt          /opt         defaults  nfs   0 0
    mu01:/home         /home        defaults  nfs   0 0
    mu01:/usr/local    /usr/local   defaults  nfs   0 0
    

    服务3:NIS

    NIS服务就是让集群的用户同步,动手做一做吧,简单的几部就完成了

    setup 进入Authentication configuration在Use NIS 前面打上*号,选择next,然后随便提一个域名,域名下面填上管理节点主机名(这里假设是mu01),然后OK,下面是等一会让其加载完即可(一般时间会长一点,这里也可以直接Ctrl+c停掉)注意,这一步需要在每个节点上进行。
    

    管理节点

    sevice ypserv start
    chkconfig ypserv on
    /usr/lib/yp64/ypinit -m(一般的服务器都是64位的,若有32位的则执行/usr/lib/yp/ypinit -m)
    注意执行这一步的时候,第一次按下Ctrl+D;接下来直接回车即可。
    

    计算节点

    service ypbind restart
    chkconfig ypbind on
    

    至此,NIS配置完毕,需要注意的是每次在管理节点添加完用户后,需要更新一下数据库。

    cd /var/yp
    make
    

    shishupeng
    20151127

  • 相关阅读:
    类方法代码重构寻找坏味道
    迭代二分查找二分查找
    系统牛逼[置顶] 使用RAMP理解内在动机 Understanding Intrinsic Motivation with RAMP
    对象服务器Webservices获取天气
    手机服务器Android消息推送(二)基于MQTT协议实现的推送功能
    概率小数2013年阿里巴巴暑期实习招聘笔试题目(不完整,笔试时间:2013.5.5)
    像素颜色JavaFX示例简易图片处理工具
    算法队列SPFA算法详解
    选择文件Eclipse制作jar包
    nullnull推箱子
  • 原文地址:https://www.cnblogs.com/shishupeng/p/supercomputing_virussp.html
Copyright © 2011-2022 走看看