zoukankan      html  css  js  c++  java
  • 使用Microsoft R Server进行机器学习和模型发布(2)

    本文中用到的所有demo我都已经发布到了Github,需要的同学可以自行下载:

    https://github.com/kingliantop/azurelabs/tree/master/RServerDemo

    Microsoft R客户端的安装

    Microsoft R客户端是一个免费的用于数据科学分析的高性能的工具。他基于开源的R语言构建,所以你可以使用任何开源的R packages,另外R client也支持微软的强大的ScaleR语言,包括使用mrsdeploy package远程执行

    1. 首先,下载安装Microsoft R client for windows,介绍地址如下:

    https://msdn.microsoft.com/en-us/microsoft-r/r-client-install-windows

    下载安装地址:http://aka.ms/rclient/

    2. 当然,如果你使用Linux,也可以下载安装R client for Linux

    https://msdn.microsoft.com/en-us/microsoft-r/r-client-install-linux

    下载地址: http://aka.ms/rclientlinux.

    3. 在安装过程中,如果你需要运行一些预先训练的模型,记得勾选"pre-trained models":

    R IDE的安装

    安装了Microsoft R 客户端以后,你可以选择安装你喜欢的R IDE安装,例如带有R插件的Visual Studio,或者RStudio

    • RTVS for R Client on WindowsR Tools for Visual Studio (RTVS) 是一个集成开发环境,你可以使用Visual Studio免费版本,R Tools也支持,安装完成后后,如果你的机器上有多个R环境,可以配置Microsoft R作为默认客户端 .
    • RStudio for R Client支持 Windows or Linux平台, RStudio 是一个非常流行的R IDE. 在安装完RStudio后他会自己查找R客户端,但如果你有多个R环境,可以指定Microsoft R作为 C:Program FilesMicrosoftR ClientR_SERVERinx64 作为客户端路径

    在本例中,我们使用RStudio免费版,下载RStudio然后安装:https://www.rstudio.com/

    使用Microsoft R进行机器学习

    1. 在这个测试案例中,我们用R语言来预测航班的延迟。测试数据集中有天气数据,航班数据,我们可以用这些历史数据来构建模型,预测是否在未来的天气情况下,航班将会延迟。这个案例是一个机器学习中的分类问题,属于监管学习,二分法中,结果0认为航班按时起飞,结果1代表航班延迟超过15分钟起飞。

    2. 在我的Github上下载myfight.r, 并且在RStudio中打开,我们首先导入和加载测试数据,测试数据放在Microsoft的RTVS仓库下,选中需要执行的段,使用Ctrl+回车即可执行:

    github <- "https://raw.githubusercontent.com/Microsoft/RTVS-docs/master/examples/MRS_and_Machine_Learning/Datasets/"

    inputFileFlightURL <- paste0(github, "Flight_Delays_Sample.csv")

    inputFileWeatherURL <- paste0(github, "Weather_Sample.csv")

    #Create a temporary directory to store the intermediate XDF files.

    td <- tempdir()

    outFileFlight <- paste0(td, "/flight.xdf")

    outFileWeather <- paste0(td, "/weather.xdf")

    outFileOrigin <- paste0(td, "/originData.xdf")

    outFileDest <- paste0(td, "/destData.xdf")

    outFileFinal <- paste0(td, "/finalData.xdf")

    #Import the flight data.

    flight_mrs <- rxImport(

    inData = inputFileFlightURL, outFile = outFileFlight,

    missingValueString = "M", stringsAsFactors = FALSE,

    # Remove columns that are possible target leakers from the flight data.

    varsToDrop = c("DepDelay", "DepDel15", "ArrDelay", "Cancelled", "Year"),

    # Define "Carrier" as categorical.

    colInfo = list(Carrier = list(type = "factor")),

    # Round down scheduled departure time to full hour.

    transforms = list(CRSDepTime = floor(CRSDepTime/100)),

    overwrite = TRUE

    )

    3. 总共有大约74万行记录,加载完毕后我们可以打印出来看看数据结果,包含日期,航空公司,机场,出发时间,到达时间等信息:

    4. 你也可以使用rxSummary函数快速方便的生成文件汇总信息:

    rxSummary(~., data = flight_mrs, blocksPerRead = 2)

    5. 后面以类似的方式导入天气数据,并进行数据预处理,在此不再赘述。然后将航班数据和天气数据进行合并关联,并进行数据的清晰,转换等操作,为下一步的分析做准备。

    6. 分割数据,80%用来做机器学习进行寻来你,20%用来做测试,进行训练。

    7. 然后使用逻辑回归模型算法进行预测,最后使用新的数据集合进行验证,计算ROC和AUC来评估算法的好坏并用可视化的方式进行展现:

    ROCAUC通常用来衡量一个二元分类器的好坏。

    ROC为接收者操作特征曲线(receiver operating characteristic curve

    AUC曲线下面积 (Area under the Curve of ROC)

    8 .在这个实例中,也提供了使用决策树Decision Tree进行分析和预测,产生的结果可以直接进行对比:

     

    在服务器端运行和调试你的R脚本

    一般情况下,比较小的数据量我们本地的笔记本及开发环境就可以,但一旦数据量比较大,运算周期比较长,我们怎么开发测试学习模型昵?如果你有一个远端的R服务器,运算能力比较强,那么利用微软提供的免费的mrsdeploy扩展包,就可以快速的将你的R脚本再远端执行。

    如上图所示,微软为了帮助开发人员和运维人员在远端服务器端开发,调测,测试R脚本,提供了一个叫做mrsdeploy 的扩展包,借助于这个包,你可以将你的代码在远端执行和部署。Mrsdeploy提供了两种连接云端R服务器的过程,一个是基于服务器用户名密码的认证的remoteLogin() ,另外一个使用Azure AD来做认证的remoteLoginAAD(). 基本语法如下:

    remoteLogin( https://YourHostEndpoint, session = TRUE, diff = TRUE, commandline = TRUE username = NULL, password = NULL, )

    remoteLoginAAD( endpoint, authuri = https://login.windows.net, tenantid = "<AAD_DOMAIN>", clientid = "<NATIVE_APP_CLIENT_ID>", resource = "<WEB_APP_CLIENT_ID>", session = TRUE, diff = TRUE, commandline = TRUE )

    本例中我们使用remoteLogin来登陆远端服务,用户名密码就是你在前文中用Admin Utility创建的用户名和密码。

    1. 使用remoteLogin登陆,端口是12800,用户名密码是Admin Utility创建的本地管理员密码,例如我的登陆函数如下,登陆成功后remoteLogin会自动对比本地和远端R package并给出差异报告:
    remoteLogin("42.159.238.196:12800",username="admin",password="XXXXXXXX")

    2. 连接成功后,可以看到提示符就变变成"remote",即当前是在远端的R server操作,可以做个简单的测试,可以看到一切运行正常:

    3. 使用pause()和resume()函数即可在本地模式和远端模式之间切换,pause从远端模式切换回本地模式,resume从本地切换回远端模式:

    REMOTE> pause()

    > date()

    [1] "Thu May 18 22:57:02 2017"

    > resume()

     

    REMOTE>

    4. 在正式执行脚本之前,你会看到提示,本地的packages和服务器端的packages不一致,如果你的一些脚本需要这些package,可以使用install.packages进行安装:

    5. 比较重要的一点是,如果你连接到远端服务器,执行一些脚本,会发现所有ScaleR相关的脚本都会执行有问题,这是因为默认情况下,mrsdeploy和RevoScaleR库并没有被加载,那么你可能需要手工加载一下:

    library(mrsdeploy)

    library(RevoScaleR)
    6. 对于上例中测试过的flight例子,我们可以在远端之前创建的Microsoft R Server上执行学习和运算:

  • 相关阅读:
    [转]centos sqlite3安装及简单命令
    [转] cmake源码编译安装jsoncpp
    [转]详解Linux(centos7)下安装OpenSSL安装图文方法
    [转]curl 命令模拟 HTTP GET/POST 请求
    [转]白话HTTP短连接中的Session和Token
    [转]浅谈HTTP中GET、POST用法以及它们的区别
    [转][linux][centos]嵌入式 Linux下编译并使用curl静态库
    [转]在CentOS安装CMake (CentOS7 64位适用)
    HTTP/2 资料汇总
    Http 1.x弊端与Http 2.0比较
  • 原文地址:https://www.cnblogs.com/cloudapps/p/6944092.html
Copyright © 2011-2022 走看看