R之RMySQL

linux，mysql和R的版本信息：

• Linux naci 3.19.0-16-generic #16-Ubuntu SMP
• Server version: 5.6.24-0ubuntu2 (Ubuntu)
• R version 3.1.2 (2014-10-31) -- "Pumpkin Helmet"

mysql的linux安装，参照上一篇关于liunx下安装mysql的文章。

1. 安装RMySQL包

在装RMySQL包之前，确定电脑上装了libmysqlclient-dev，否则在安装时会出现错误。

~$ sudo apt-get install libmysqlclient-dev              #安装客户端的开发支持
~$ R
 > install.packages("RMySQL","/home/beili/R/packages")  #安装RMySQL包
 > .libPaths(RMySQL)

2.RMySQL支持的相关函数

辅助函数

    2.1 dbConnect，dbDisconnect  #数据库连接函数
    2.2 dbListFields ,dbListTables,dbGetInfo,dbListResults,summary,dbGetException,dbExistsTable    #查看数据库或者参数信息

查询函数

    2.3 dbGetQuery    #查询函数
    2.4 dbReadTable   #读取表的数据

更新函数

    2.5 dbWriteTable   #创建数据库表或者将数据写入对应的表
    2.6 dbRemoveTable  # 删除数据库中的表

dbSendQuery函数

    2.7 dbSendQuery ,dbClearResult  #将query交给数据库引擎
    2.8 dbColumnInfo，dbGetRowsAffected，dbGetRowCount，dbHasCompleted     #查看数据库引擎执行结果
    2.9 dbFetch，fetch   #将dbSendQuery函数的结果抽取出来
    2.10 dbNextResult，dbMoreResults   #一条一条读取结果

事务函数

    2.11 dbCommit，dbBegin，dbRollback 

2.1 dbConnect和dbDisconnect函数

函数调用格式如下：

dbConnect(drv, dbname,username,password ,host,port，client.flag=CLIENT_MULTI_STATEMENTS..) 
dbDisconnect(conn, ...）

注：client.flag=CLIENT_MULTI_STATEMENTS表示客户端允许执行多个statement。

由于和传统的设置参数差不多，所以下面直接看例子：

> conn=dbConnect(MySQL(),dbname="test",username="root",password="mdcl")  #建立连接
> summary(conn,verbose=T)                                                #查看连接信息
<MySQLConnection:0,0>
  User:   root 
  Host:   localhost 
  Dbname: test 
  Connection type: Localhost via UNIX socket 
  MySQL server version:   5.6.24-0ubuntu2 
  MySQL client version:   5.6.24 
  MySQL protocol version: 10 
  MySQL server thread id: 4 

Results:
> dbDisconnect(conn)                                                      #关闭连接

 注：本地连接不用设置host和port，另外summary属于RMySQL的函数，是S4类，用户mysql驱动的信息

2.2 dbListFields ,dbListTables,dbGetInfo,dbListResults,summary,dbGetException查看数据库或者参数信息

函数调用格式如下：

dbListFields(conn, name, ...)        #查看表的字段信息
dbListTables(conn, ...)              #查看数据库下表
dbGetInfo(dbObj, what = "", ...)     #获取mysql数据变量的信息,what指定得到list中的哪个值
dbListResults(conn, ...)             #列出conn的查询结果
summary(object, verbose = FALSE, ...)#查看某个变量的相信信息
dbGetException(conn, ...)            #查看conn的异常信息
dbExistsTable(conn, name, ...)       

例如：

> dbListFields(conn,"people")
[1] "name" "sex"  "age" 
> dbListTables(conn)
[1] "people"
> dbGetInfo(conn)
$host
[1] "localhost"

$user
[1] "root"

$dbname
[1] "test"
...

> dbListResults(conn)
list()
> dbGetException(conn)
$errorNum
[1] 0

$errorMsg
[1] ""
> dbExistsTable(conn, "people")
[1] TRUE

2.3 dbGetQuery 数据库查询

      dbGetQuery实际要执行一连串的动作，在内部实际上会执行dbSendQuery函数，然后当dbHasCompleted为TRUE之后，又自动fetch出返回的结果，最后由on.exit保证执行dbClearResult。该函数支持各种各样的query，当执行select操作时，返回data.frame类型的结果；当执行insert/update操作时，返回NULL。

函数调用格式：

dbGetQuery(conn, statement, ...)

例子：

> res=dbGetQuery(conn,"select * from people")
> class(res)
[1] "data.frame"
> res
  name sex age
1  bao   M  12
2 qiao   M  12
> dbGetQuery(conn,"show tables")
  Tables_in_test
1         people
2            stu
3        student
> dbGetQuery(conn,"drop table student")
NULL
> dbGetQuery(conn,"show tables")
  Tables_in_test
1         people
2            stu

2.4 dbReadTable 读取整个表的数据

调用格式：

dbReadTable(conn, name, row.names,check.names = TRUE, ...)

其中 row.names=k,表示第k列作为每一行的名字。

例子：

> dbReadTable(conn,"stu",row.names=1)
   stuid name age
1      1 qiao  51
2      2  bao  27
3      3 qiao   1
4      4  bao  26

2.5 dbWriteTable 将数据写入数据库

调用格式：

 dbWriteTable(conn, name, value, row.names=T,overwrite,append，...)

其中row.names表示是否将row.names写入数据库的，作为单独的一列；overwrite=T表示会覆盖掉原先的数据；append=T表示在原先的数据后面进行插入。

例子：

> dbGetQuery(conn,"truncate table stu")
NULL
> dbReadTable(conn,"stu",row.names=1)
[1] stuid name  age  
<0 行> (或0-长度的row.names)
> dbWriteTable(conn,"stu",student,append=T)
[1] TRUE
> dbReadTable(conn,"stu",row.names=1)
   stuid name age
1      1 qiao  51
2      2  bao  27
3      3 qiao   1
4      4  bao  26

2.6 dbRemoveTable  删除表实际上执行了“Drop table name”的命令，在2.3中给出了drop的例子。

调用格式：

dbRemoveTable(conn,name)

例子：

> dbListTables(conn)
[1] "people" "stu"   
> dbRemoveTable(conn,"people")
[1] TRUE
> dbListTables(conn)
[1] "stu"

2.7 dbSendQuery ,dbClearResult

• dbSendQuery函数提交查询，并在服务器那端同步执行，但是并不抽取其中的结果，因此需要配合dbFetch来使用，最后抽取完毕之后，使用dbClearResult来清洗返回的结果。既然有了dbReadTable函数了，为什么还要有dbSendQuery呢？如果需要返回的数据很大的情况下，而R又装不下，如果使用dbReadTable那么铁定不行了。dbSendQuery函数来说，DBMS执行了query语句，可能生成了大量的数据，不同的数据库驱动可能有不同的处理方式，有的存储在服务器端，一点一点发给R；有的传给客户端，但是不会一下子传给R。
• dbClearResult函数释放占用的资源。

调用格式：

dbSendQuery(conn, statement)
dbClearResult(res, ...)

如果dbConnect中client.flag没有设置下，只能执行一条statement，而且不dbClearResult执行的res是不能再执行dbSendQuery函数的，也就是说正确的执行方式如下：

rs1=dbSendQuery(conn, statement)
...
dbClearResult(rs1, ...)
rs2=dbSendQuery(conn, statement)
...
dbClearResult(rs2, ...)

而下面的调用格式是错的：

rs1=dbSendQuery(conn, statement)
rs2=dbSendQuery(conn, statement)
...
dbClearResult(rs1, ...)
dbClearResult(rs2, ...)

例子：

> res=dbSendQuery(conn,"select * from stu")
> dbGetInfo(res)
$statement
[1] "select * from stu"

$isSelect
[1] 1

$rowsAffected
[1] -1

$rowCount
[1] 0

$completed
[1] 0

$fieldDescription
$fieldDescription[[1]]
NULL


> res2=dbSendQuery(conn,"select * from stu")
错误于.local(conn, statement, ...) : 
  connection with pending rows, close resultSet before continuing
> dbClearResult(res)
[1] TRUE
> res2=dbSendQuery(conn,"select * from stu")

2.8 dbColumnInfo，dbGetRowsAffected，dbGetRowCount，dbHasCompleted

 这一系列的函数，其实是dbSendQuery的辅助函数，得到的信息，使用dbGetInfo（res）都能得到。

重点说一下dbHasCompleted函数,函数含义是服务器端的数据是否被抽取完毕：

调用格式：

dbHasCompleted(res,...)

注：只有查询的数据全部被R抽取完，该函数才能返回TRUE值，具体使用见2.9中的例子。

2.9 dbFetch，fetch

fetch是比较老的一个版本，dbFetch和fetch功能相同，不过比较鼓励使用dbFetch。

调用格式：

dbFetch(res,n,...)
ftch(res,n,)

注：n表示读取的行数，当n=-1时，表示全部抽取。

例子：

> dbWriteTable(conn, "mtcars", mtcars)
[1] TRUE

> res <- dbSendQuery(conn, "SELECT * FROM mtcars WHERE cyl = 4")
> dbFetch(res)
        row_names  mpg cyl  disp  hp drat    wt  qsec vs am gear carb
1      Datsun 710 22.8   4 108.0  93 3.85 2.320 18.61  1  1    4    1
2       Merc 240D 24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2
3        Merc 230 22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2
4        Fiat 128 32.4   4  78.7  66 4.08 2.200 19.47  1  1    4    1
5     Honda Civic 30.4   4  75.7  52 4.93 1.615 18.52  1  1    4    2
6  Toyota Corolla 33.9   4  71.1  65 4.22 1.835 19.90  1  1    4    1
7   Toyota Corona 21.5   4 120.1  97 3.70 2.465 20.01  1  0    3    1
8       Fiat X1-9 27.3   4  79.0  66 4.08 1.935 18.90  1  1    4    1
9   Porsche 914-2 26.0   4 120.3  91 4.43 2.140 16.70  0  1    5    2
10   Lotus Europa 30.4   4  95.1 113 3.77 1.513 16.90  1  1    5    2
11     Volvo 142E 21.4   4 121.0 109 4.11 2.780 18.60  1  1    4    2
> dbClearResult(res)
[1] TRUE

> res <- dbSendQuery(conn, "SELECT * FROM mtcars")
> while (!dbHasCompleted(res)) {
+        chunk <- fetch(res, 10)
+        print(nrow(chunk))
+      }
[1] 10
[1] 10
[1] 10
[1] 2
> dbClearResult(res)   
[1] TRUE

2.10 dbNextResult，dbMoreResults

• dbMoreResults是针对多个query statement来说的，如果还有额外的结果集需要处理，则返回TRUE，否则返回FALSE
• dbNextResult 接着处理下一个statement的结果集。

调用格式：

dbNextResult(con, ...)
dbMoreResult(con,...)

例子：

> con=dbConnect(MySQL(),dbname="test",username="root",password="mdcl",client.flag=CLIENT_MULTI_STATEMENTS)
> dbListTables(con)
[1] "mtcars" "stu"   
> sql <- "SELECT cyl FROM mtcars LIMIT 5; SELECT vs FROM mtcars LIMIT 5"
> rs1 <- dbSendQuery(con, sql)
> dbFetch(rs1, n = -1)
  cyl
1   6
2   6
3   4
4   6
5   8
>  if (dbMoreResults(con)) {
+         rs2 <- dbNextResult(con)
+         dbFetch(rs2, n = -1)
+      }
  vs
1  0
2  0
3  1
4  1
5  0
>  dbClearResult(rs1)
[1] TRUE
>  dbClearResult(rs2)
[1] TRUE

2.11 dbCommit ，dbBegin，dbRollback

 三个事务函数，和数据库中的概念是一致的。

调用方式：

  dbBegin(conn, ...)   
  dbCommit(conn, ...)
  dbRollback(conn, ...)