zoukankan      html  css  js  c++  java
  • R语言和大数据

    #安装R语言
    R3.3版本会出现各种so不存在的问题,退回去到R3.1版本时候就顺利安装。
    在安装R环境之前,先安装好中文(如果没有的话图表中显示汉字成框框了)和tcl/tk包(少了这个没法安装sqldf)
    sudo yum install fonts-chinese tcl tcl-devel tclx tk tk-devel -y
    安装中文字体后重新加载 service xfs reload (不过在有台机器上总是失败,后来重启机器OK)
    sudo service xfs reload
    有些包会需要rgl,调用opengl的库,所以还要安装opengl包
    sudo yum install mesa-libGLU mesa-libGLU-devel -y
    sudo yum install gcc-gfortran gcc gcc-c++ readline-devel libXt-devel -y

    wget --no-check-certificate https://stat.ethz.ch/CRAN/src/base/R-3/R-3.1.0.tar.gz
    tar xvf R-3.1.0.tar.gz
    ./configure --enable-R-shlib=yes --enable-BLAS-shlib=yes --with-lapack --with-libpng --with-x=no --with-tcltk
    sudo sh -c "make"
    sudo sh -c "make install"

    sudo R CMD javareconf JAVA_HOME=$JAVA_HOME
    进入到r中进行
    install.packages('rJava')
    选择22

    安装DBI
    install.packages("DBI")
    选择22

    安装RSQLite
    install.packages("RSQLite")
    选择22

    #安装RStudio
    R装在工作的笔记本电脑上,由于内存的限制,只能用于一些很小的数据集的分析,所以更好的方式是,在Linux上配置一个R加rstudio-server,然后可以通过web直接访问R的功能。

    下载rstudio-server的rpm包安装即可
    wget http://download2.rstudio.org/rstudio-server-0.97.551-x86_64.rpm
    rpm -ivh --nodeps rstudio-server-0.97.551-x86_64.rpm
    启动命令

    坑爹的是启动失败并没有任何错误提示,在/var/log/messages找到错误信息
    安装时如果提示缺少libR.so;使用make unsintall卸载,然后重新安装一次R,指定了enable-R-shlib以后就不再报错
    ps aux能够看到/usr/lib/rstudio-server/bin/rserver 已经启动了

    配置文件位于/etc/rstudio/rserver.conf
    www-port=80,80是默认的http服务端口号。
    rsession-ld-library-path=/opt/local/lib:/opt/local/someapp/lib 指定额外的库地址
    rsession-which-r=/usr/local/bin/R 指定R软件位置
    auth-required-user-group=rstudio_users 限制可登陆R用户
    rsession-memory-limit-mb=4000 限制使用的最大内存
    rsession-stack-limit-mb=10 限制最大的栈大小
    rsession-process-limit=100 限制最多进程数
    session-timeout-minutes=30 进程超时时间
    r-libs-user=~/R/packages 设置默认的R包
    limit-file-upload-size-mb=100 设置最大的上传文件大小
    r-cran-repos=http://cran.case.edu/ 设置默认的CRAN

    #登陆访问

    能够打开http://hostip:8787/页面了
    此时需要输入登陆账户和密码,账户就是这个机器的域账户名称,密码是机器密码。如果没有的话,申请这个机器的权限就可以获得。
    此外,还需要设置环境变量才可以访问,使用下面命令设置当前session的环境变量
    Sys.setenv(SHELL ="/bin/bash")


    #最新进展
    R还是把数据load到本地进行计算的,这样的方式在大数据时代多少显得落伍。目前R和hadoop结合的有rhadoop、rhive、rhbase、sparkr等等,rhive和rodps采用的方法是类似的,用lib结合接口进行访问。比较彻底的是sparkR,在api和运行时做了修改。使用R或Python的DataFrame API能获得和Scala近乎相同的性能。

  • 相关阅读:
    PostgerSQL 回收表空间,查看占用磁盘大小
    为 Docker 添加阿里云的镜像地址
    Docker 常用命令
    CentOS 7 安装 Docker
    kafka-常用脚本2
    Nginx 端口被占用(0.0.0.0:443 failed (98: Address already in use))
    nginx: [error] open() "/var/run/nginx.pid" failed (2: No such file or directory)
    检查Nginx 配置文件出否有问题
    Python2 安装虚拟环境
    记录 | 程序员技术博客平台推荐和选取
  • 原文地址:https://www.cnblogs.com/laodageblog/p/5726795.html
Copyright © 2011-2022 走看看