zoukankan      html  css  js  c++  java
  • 超算私房菜之集群搭建

    ---恢复内容开始---

    集群搭建


    集群搭建,说是搭建,一般也就是配一些服务(超算主要用到SSH,NFS,NIS,并行环境)能使得多台机器协同运行。一般情况下,安装好系统后,将机器都接入交换机(以太或是IB),之后开启每一台机器开始进行服务的配置。既然是搭服务,那么就分别来说一下这些服务吧。
    这里我们有三个节点(mu01为管理节点,cu01/cu02位计算节点)。
    配置前提

    关闭防火墙、selinux、NetworkManager

    service iptables stop(关闭防火墙及其开机自启)
    chkconfig iptables off
    service NetworkManager stop
    chkconfig NetworkManager off
    注意selinux关闭时
    vim /etc/selinux/config 
    修改:SELINUX=disabled
    

    准备工作做的差不多了,接下来就开始进入我们的主题吧,不用多说,当然是听起来比较高大上的搭建服务啦!一起来get起来吧!
    服务1:SSH

    SSH服务,简单了说就是让集群里面的各节点可以通过无密码访问,这个服务说起来也是比较easy,只要你理解了公钥和私钥之间的认证关系,应该不成啥问题,通过下面简单的几部即可

    ssh-keygen -t rsa(在每台机器上进行)
    在每台服务器上生成密钥对后,将公钥复制到需要无密码登陆的服务器上:
    #ssh-copy-id -i  ~/.ssh/id_rsa.pub root@cu01
    #ssh-copy-id -i  ~/.ssh/id_rsa.pub root@cu02
    以上命令,可以自动将公钥添加到名为authorized_keys的文件中,在每台服务器都执行完以上步骤后就可以实现多台服务器相互无密码登陆了
    

    服务2:NFS

    NFS,通过他的英文(Network File System),大概也能知道他是一个基于网络的文件服务,简单地说就是文件共享服务,也是比较简单,一般通过下面的几部即可完成。
    管理节点:

    vim /etc/exports(若该文件存在,则先删除再重新建立)
    在该文件中加入如下语句
    /opt  *(rw,no_all_squash)
    /home  *(rw,no_all_squash)
    /usr/local  *(rw,no_all_squash)
    接下来启动NFS服务
    service nfs start
    chkconfig nfs on
    这样管理节点就配置完成了,简单吧O(∩_∩)O哈哈~
    

    计算节点:

    mount -t nfs -o mu01:/opt /opt
    mount -t nfs -o mu01:/home /home
    mount -t nfs -o mu01:/usr/local /usr/local
    

    计算节点也配置完了,是不是很简单,但是计算节点这样配置的话每次重启机器都需要重新挂载一下,鉴于此,我们把挂载NFS文件系统的命令写在/etc/fstab下,使其开机自动挂载

    vim /etc/fstab(文件最后加入以下内容)
    mu01:/opt          /opt         defaults  nfs   0 0
    mu01:/home         /home        defaults  nfs   0 0
    mu01:/usr/local    /usr/local   defaults  nfs   0 0
    

    服务3:NIS

    NIS服务就是让集群的用户同步,动手做一做吧,简单的几部就完成了

    setup 进入Authentication configuration在Use NIS 前面打上*号,选择next,然后随便提一个域名,域名下面填上管理节点主机名(这里假设是mu01),然后OK,下面是等一会让其加载完即可(一般时间会长一点,这里也可以直接Ctrl+c停掉)注意,这一步需要在每个节点上进行。
    

    管理节点

    sevice ypserv start
    chkconfig ypserv on
    /usr/lib/yp64/ypinit -m(一般的服务器都是64位的,若有32位的则执行/usr/lib/yp/ypinit -m)
    注意执行这一步的时候,第一次按下Ctrl+D;接下来直接回车即可。
    

    计算节点

    service ypbind restart
    chkconfig ypbind on
    

    至此,NIS配置完毕,需要注意的是每次在管理节点添加完用户后,需要更新一下数据库。

    cd /var/yp
    make
    

    shishupeng
    20151127

    ---恢复内容结束---

    集群搭建


    集群搭建,说是搭建,一般也就是配一些服务(超算主要用到SSH,NFS,NIS,并行环境)能使得多台机器协同运行。一般情况下,安装好系统后,将机器都接入交换机(以太或是IB),之后开启每一台机器开始进行服务的配置。既然是搭服务,那么就分别来说一下这些服务吧。
    这里我们有三个节点(mu01为管理节点,cu01/cu02位计算节点)。
    配置前提

    关闭防火墙、selinux、NetworkManager

    service iptables stop(关闭防火墙及其开机自启)
    chkconfig iptables off
    service NetworkManager stop
    chkconfig NetworkManager off
    注意selinux关闭时
    vim /etc/selinux/config 
    修改:SELINUX=disabled
    

    准备工作做的差不多了,接下来就开始进入我们的主题吧,不用多说,当然是听起来比较高大上的搭建服务啦!一起来get起来吧!
    服务1:SSH

    SSH服务,简单了说就是让集群里面的各节点可以通过无密码访问,这个服务说起来也是比较easy,只要你理解了公钥和私钥之间的认证关系,应该不成啥问题,通过下面简单的几部即可

    ssh-keygen -t rsa(在每台机器上进行)
    在每台服务器上生成密钥对后,将公钥复制到需要无密码登陆的服务器上:
    #ssh-copy-id -i  ~/.ssh/id_rsa.pub root@cu01
    #ssh-copy-id -i  ~/.ssh/id_rsa.pub root@cu02
    以上命令,可以自动将公钥添加到名为authorized_keys的文件中,在每台服务器都执行完以上步骤后就可以实现多台服务器相互无密码登陆了
    

    服务2:NFS

    NFS,通过他的英文(Network File System),大概也能知道他是一个基于网络的文件服务,简单地说就是文件共享服务,也是比较简单,一般通过下面的几部即可完成。
    管理节点:

    vim /etc/exports(若该文件存在,则先删除再重新建立)
    在该文件中加入如下语句
    /opt  *(rw,no_all_squash)
    /home  *(rw,no_all_squash)
    /usr/local  *(rw,no_all_squash)
    接下来启动NFS服务
    service nfs start
    chkconfig nfs on
    这样管理节点就配置完成了,简单吧O(∩_∩)O哈哈~
    

    计算节点:

    mount -t nfs -o mu01:/opt /opt
    mount -t nfs -o mu01:/home /home
    mount -t nfs -o mu01:/usr/local /usr/local
    

    计算节点也配置完了,是不是很简单,但是计算节点这样配置的话每次重启机器都需要重新挂载一下,鉴于此,我们把挂载NFS文件系统的命令写在/etc/fstab下,使其开机自动挂载

    vim /etc/fstab(文件最后加入以下内容)
    mu01:/opt          /opt         defaults  nfs   0 0
    mu01:/home         /home        defaults  nfs   0 0
    mu01:/usr/local    /usr/local   defaults  nfs   0 0
    

    服务3:NIS

    NIS服务就是让集群的用户同步,动手做一做吧,简单的几部就完成了

    setup 进入Authentication configuration在Use NIS 前面打上*号,选择next,然后随便提一个域名,域名下面填上管理节点主机名(这里假设是mu01),然后OK,下面是等一会让其加载完即可(一般时间会长一点,这里也可以直接Ctrl+c停掉)注意,这一步需要在每个节点上进行。
    

    管理节点

    sevice ypserv start
    chkconfig ypserv on
    /usr/lib/yp64/ypinit -m(一般的服务器都是64位的,若有32位的则执行/usr/lib/yp/ypinit -m)
    注意执行这一步的时候,第一次按下Ctrl+D;接下来直接回车即可。
    

    计算节点

    service ypbind restart
    chkconfig ypbind on
    

    至此,NIS配置完毕,需要注意的是每次在管理节点添加完用户后,需要更新一下数据库。

    cd /var/yp
    make
    

    shishupeng
    20151127

  • 相关阅读:
    理解爬虫原理
    中文词频统计与词云生成
    复合数据类型,英文词频统计
    字符串操作、文件操作,英文词频统计预处理
    了解大数据的特点、来源与数据呈现方式
    为Bootstrap模态对话框添加拖拽移动功能
    前端进阶学习笔记
    前端基础学习笔记
    MySQL学习笔记(模块二)
    MySQL学习笔记(模块一)
  • 原文地址:https://www.cnblogs.com/shishupeng/p/supercomputing_virussp.html
Copyright © 2011-2022 走看看