zoukankan      html  css  js  c++  java
  • Zeppelin0.6.2+sparkR2.0.2环境搭建

    0.序

      先吐槽一下网上旧版本的Zeppelin和R的安装,让我折腾了几个小时。

      不过最终还是调通了也不容易,其实我现在一点R都没有学呢,只是刚看了一节课,但是这个工具既然出现在了Spark中,我想它还是蛮流行和好用的。

      之前配置了Zeppelin的Spark的结合,但是那没有配置R的部分,但是Zeppelin既然能够有这么多的解释器,在我看来就是凸显他的一个别的软件所不具有的优势:那就是在一个note里你可以使用多种解释器来编写文字,生成图像,分析一个问题。

      再加上方便的导入导出和存储功能,我个人感觉未来流行只是时间问题。

      废话尽量少说,进入正题:

    1.安装R及相关的包

    注意我使用的是CentOS7的系统,如果你不是我的系统可能下载的包会不一致。不过请不要担心,我会尽量说明白如何找到对应系统的R的安装包。

    首先访问官网https://www.r-project.org/

    然后我们找到这个:

    然后找到China那一栏,随便点一个地址就好。

    然后我们选择这个:

    这下你应该能找到了吧,里面包含几种常用Linux发行版,我的是CentOS,自然是选择RedHat系列了。

    然后我们依次点下去,直到点开README

    很好,这里似乎要安装一个EPEL的源来完成我们的R包的安装,这里我们进入划横线的网址:

    箭头所指是这个源的RPM包,下载并安装之!

    wget https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
    rpm -ivh epel-release-latest-7.noarch.rpm

    接下来我打开这个网址:https://zeppelin.apache.org/docs/0.6.2/interpreter/r.html

    安装相关R以及相关依赖:

    yum install R R-devel libcurl-devel openssl-devel

    安装时间比较长,耐心等待,去喝杯咖啡或者看会别的,再回来吧!

    不过你要是一直细心看的话,它竟然在处理依赖关系的时候自动给安装上了open-jdk,没事,我们使用以下方式解决:

    wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.rpm 
    rpm -ivh jdk-8u112-linux-x64.rpm 

    再给它安装回去-。-醉了。

    安装一些官网所说的依赖:

    R -e "install.packages('devtools', repos = 'http://cran.rstudio.com')"
    R -e "install.packages('knitr', repos = 'http://cran.rstudio.com')"
    R -e "install.packages('ggplot2', repos = 'http://cran.rstudio.com')"
    R -e "install.packages(c('devtools','mplot', 'googleVis'), repos = 'http://cran.rstudio.com'); require(devtools); install_github('ramnathv/rCharts')"

    2.配置Zeppelin

    复制官网的一段话:

    Configuration

    To run Zeppelin with the R Interpreter, the SPARK_HOME environment variable must be set. The best way to do this is by editing conf/zeppelin-env.sh. If it is not set, the R Interpreter will not be able to interface with Spark.

    You should also copy conf/zeppelin-site.xml.template to conf/zeppelin-site.xml. That will ensure that Zeppelin sees the R Interpreter the first time it starts up.

    两个步骤:

    • 在conf/zeppelin-env.sh中加入SPARK_HOME这个环境变量
    •  cp conf/zeppelin-site.xml.template  conf/zeppelin-site.xml

    此处不再赘述。

    3.重启Zeppelin:

    /opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh restart

    4.验证环境是否装好:

    打开浏览器进入Zeppelin的地址,然后notebook -> R Tutorial

    如下图

    等待编译完成,然后我截取了几张图片放在下面:

    好,我们的SparkR环境搭建好了,Zeppelin又多了一个新的工具,又强大了不少。

    数据科学交流群,群号:189158789 ,欢迎各位对数据科学感兴趣的小伙伴的加入!

    深信积累的力量,时间就是你最好的朋友,否则它就是你最大的敌人。

    如果你想分享此文章,请注明:作者:PurStar 出处:www.cnblogs.com/purstar

  • 相关阅读:
    [文摘20070930]激励员工20种非经济手段
    [文摘20071010]绿领
    新增及删除Grid行
    SqlAnyWhere相关示例SQL语句
    [文摘20071008]全国软考相关计算机技术与软件专业资格(水平)考试
    愉悦的时候
    [文摘20070924]导致事业不成功的心理致命伤
    快乐的生活
    给网络创业者的十大建议
    [转]winForm:DataGridView的一些技巧
  • 原文地址:https://www.cnblogs.com/purstar/p/6298016.html
Copyright © 2011-2022 走看看