Go操作MySQL
MySQL是业界常用的关系型数据库，本文介绍了Go语言如何操作MySQL数据库。
Go语言中的database/sql包提供了保证SQL或类SQL数据库的泛用接口，并不提供具体的数据库驱动。使用database/sql包时必须注入（至少）一个数据库驱动。
我们常用的数据库基本上都有完整的第三方实现。例如：MySQL驱动
一、创建表和库
create database go_mysql_testmysql;
CREATE TABLE `user` (
`id` BIGINT(20) NOT NULL AUTO_INCREMENT,
`name` VARCHAR(20) DEFAULT '',
`age` INT(11) DEFAULT '0',
PRIMARY KEY(`id`)
)ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;
mysql> desc user;
+-------+-------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+-------------+------+-----+---------+----------------+
| id | bigint(20) | NO | PRI | NULL | auto_increment |
| name | varchar(20) | YES | | | |
| age | int(11) | YES | | 0 | |
+-------+-------------+------+-----+---------+----------------+
3 rows in set (0.01 sec)
二、下载依赖
go get -u github.com/go-sql-driver/mysql
三、使用MySQL驱动
func Open(driverName, dataSourceName string) (*DB, error)
Open打开一个dirverName指定的数据库，dataSourceName指定数据源，一般至少包括数据库文件名和其它连接必要的信息。
import (
"database/sql"
_ "github.com/go-sql-driver/mysql"
)
func main() {
// DSN:Data Source Name
dsn := "user:password@tcp(127.0.0.1:3306)/dbname"
db, err := sql.Open("mysql", dsn)
if err != nil {
panic(err)
}
defer db.Close() // 注意这行代码要写在上面err判断的下面
}
四、初始化连接
Open函数可能只是验证其参数格式是否正确，实际上并不创建与数据库的连接。如果要检查数据源的名称是否真实有效，应该调用Ping方法。
返回的DB对象可以安全地被多个goroutine并发使用，并且维护其自己的空闲连接池。因此，Open函数应该仅被调用一次，很少需要关闭这个DB对象。
package main
import (
"database/sql"
_ "github.com/go-sql-driver/mysql"
)
// 定义一个全局对象db
var Db *sql.DB
// 定义一个初始化数据库的函数
func InitDb() (err error) {
// DSN:Data Source Name
dsn := "root:@tcp(127.0.0.1:3306)/go_mysql_test?charset=utf8mb4&parseTime=True"
// 不会校验账号密码是否正确
// 注意!!!,这里不要使用:=,我是是给全局变量赋值,然后在main中使用全局变量db
Db, err = sql.Open("mysql", dsn)
if err != nil {
return err
}
// 尝试与数据库建立连接(校验dsn是否正确)
err = Db.Ping()
if err != nil {
return err
}
// 根据实际场景设置
Db.SetConnMaxLifetime(time.Second * 10) // 连接存活时间
Db.SetMaxOpenConns(200) // 最大连接数
Db.SetMaxIdleConns(10) // 最大空闲连接数
return nil
}
func main() {
// database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
// 做完检查之后确保db部位nil，在关闭资源
defer Db.Close() // 函数直接完就会被调用,要放在外面
fmt.Printf("init db success db%v\n", Db)
}
其中sql.DB是表示连接的数据库对象（结构体实例），它保存了连接数据库相关的所有信息。它内部维护着一个具有零到多个底层连接的连接池，它可以安全地被多个goroutine同时使用。
4.1 SetMaxOpenConns
func (db *DB) SetMaxOpenConns(n int)
SetMaxOpenConns设置与数据库建立连接的最大数目。 如果n大于0且小于最大闲置连接数，会将最大闲置连接数减小到匹配最大开启连接数的限制。 如果n<=0，不会限制最大开启连接数，默认为0（无限制）。
4.2 SetMaxIdleConns
func (db *DB) SetMaxIdleConns(n int)
SetMaxIdleConns设置连接池中的最大闲置连接数。 如果n大于最大开启连接数，则新的最大闲置连接数会减小到匹配最大开启连接数的限制。 如果n<=0，不会保留闲置连接。
五、driver
v 表示value
T 表示类型
m 表示一个方法
f 表示函数
init
import (
"context"
"database/sql"
"database/sql/driver"
"net"
"sync"
)
func init() {
sql.Register("mysql", &MySQLDriver{})
}
// MySQLDriver is exported to make the driver directly accessible.
// In general the driver is used via the database/sql package.
type MySQLDriver struct{}
var (
driversMu sync.RWMutex
drivers = make(map[string]driver.Driver)
)
func Register(name string, driver driver.Driver) {
driversMu.Lock() // 读写锁 map并发不安全
defer driversMu.Unlock()
if driver == nil {
panic("sql: Register driver is nil")
}
if _, dup := drivers[name]; dup {
panic("sql: Register called twice for driver " + name)
}
drivers[name] = driver
}
六、查询
为了方便查询，我们事先定义好一个结构体来存储user表的数据。
type user struct {
id int
age int
name string
}
6.1 单行查询
单行查询db.QueryRow()执行一次查询，并期望返回最多一行结果（即Row）。QueryRow总是返回非nil的值，直到返回值的Scan方法被调用时，才会返回被延迟的错误。（如：未找到结果）
func (db *DB) QueryRow(query string, args ...interface{}) *Row
具体示例代码：
package main
import "fmt"
/*
@author RandySun
@create 2021-08-30-8:32
*/
func QueryRowDemo(id int) {
// 获取单条数据
sqlStr := "select id, name, age from user where id=?"
var u User
// 非常重要:确保QueryRow之后调用Scan方法,否则持有数据的连接不会被释放
err := Db.QueryRow(sqlStr, id).Scan(&u.Id, &u.Name, &u.Age)
if err != nil {
fmt.Printf("scan failed, err: %v\n", err)
return
}
fmt.Printf("id: %d, name:%s, age:%d\n", u.Id, u.Name, u.Age)
}
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
//查询单挑数据
QueryRowDemo(1)
}
id: 1, name:Randy, age:18
6.2 多行查询
多行查询db.Query()执行一次查询，返回多行结果（即Rows），一般用于执行select命令。参数args表示query中的占位参数。
func (db *DB) Query(query string, args ...interface{}) (*Rows, error)
具体示例代码：
func QueryMultiRowDemo(id int) {
sqlStr := "select id, name, age from user where id > ?"
userList := make([]User, 0, 120)
//userList := []User{1,"s", 3}
rows, err := Db.Query(sqlStr, id)
if err != nil {
return
}
// 非常重要,关闭rows释放持有的数据库连接
defer rows.Close()
fmt.Println(rows, 5555555555555)
// 循环读取结果集中的数据
for rows.Next() {
var u User
err := rows.Scan(&u.Id, &u.Name, &u.Age)
if err != nil {
fmt.Printf("scan failed, err:%v\n", err)
return
}
//fmt.Println(u)
userList = append(userList, u)
fmt.Printf("id: %d, name: %s, age: %d\n", u.Id, u.Name, u.Age)
}
fmt.Printf("%#v", userList)
}
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
//查询单挑数据
QueryMultiRowDemo(1)
}
id: 2, name: Jack, age: 30
id: 3, name: Barry, age: 200
id: 4, name: RandySun, age: 18
id: 6, name: RandySun, age: 18
id: 8, name: RandySun2, age: 18
七、插入数据
插入、更新和删除操作都使用Exec方法。
func (db *DB) Exec(query string, args ...interface{}) (Result, error)
Exec执行一次命令（包括查询、删除、更新、插入等），返回的Result是对已执行的SQL命令的总结。参数args表示query中的占位参数。
具体插入数据示例代码如下：
package main
import "fmt"
/*
@author RandySun
@create 2021-08-30-22:29
*/
func insertRowDemo(name string, age int) {
sqlStr := "insert into user(name, age) values(?,?)"
ret, err := Db.Exec(sqlStr, name, age)
if err != nil {
fmt.Printf("insert failed , err:%v\n", err)
return
}
theId, err := ret.LastInsertId() // 新插入数据的id
if err != nil {
fmt.Printf("get lastinsert Id failed, err: %v\n,", err)
}
fmt.Println("insert success, the id is:", theId)
}
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
// 插入数据
insertRowDemo("RandySun", 18)
}
八、更新数据
具体更新数据示例代码如下：
package main
import "fmt"
/*
@author RandySun
@create 2021-08-30-22:36
*/
func updateRowDemo(age int, id int) {
sqlStr := "update user set age=? where id=?"
ret, err := Db.Exec(sqlStr, age, id)
if err != nil {
fmt.Printf("update failed, err: %v\n", err)
}
n, err := ret.RowsAffected() // 操作收影响的行
if err != nil {
fmt.Printf("get RowsAffected failed: %v\n", err)
return
}
fmt.Printf("update success, affected rows: %d\n", n)
}
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
// 插入数据
updateRowDemo(19, 5)
}
九、删除数据
具体删除数据的示例代码如下：
package main
import "fmt"
/*
@author RandySun
@create 2021-08-30-22:36
*/
func deleteRowDemo(id int) {
sqlStr := "delete from user where id=?"
ret, err := Db.Exec(sqlStr, id)
if err != nil {
fmt.Printf("delete failed, err: %v\n", err)
return
}
n, err := ret.RowsAffected() // 获取操作影响的行数
if err != nil {
fmt.Printf("get RowsAffected fail, err:%v\n", err)
}
fmt.Printf("delete success, affected rows: %v \n", n)
}
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
// 插入数据
deleteRowDemo(5)
}
十、MySQL预处理
10.1 什么是预处理？
普通SQL语句执行过程：
- 客户端对SQL语句进行占位符替换得到完整的SQL语句。
- 客户端发送完整SQL语句到MySQL服务端
- MySQL服务端执行完整的SQL语句并将结果返回给客户端。
预处理执行过程：
- 把SQL语句分成两部分，命令部分与数据部分。
- 先把命令部分发送给MySQL服务端，MySQL服务端进行SQL预处理。
- 然后把数据部分发送给MySQL服务端，MySQL服务端对SQL语句进行占位符替换。
- MySQL服务端执行完整的SQL语句并将结果返回给客户端。
10.2 为什么要预处理？
- 优化MySQL服务器重复执行SQL的方法，可以提升服务器性能，提前让服务器编译，一次编译多次执行，节省后续编译的成本。
- 避免SQL注入问题。
10.3 Go实现MySQL预处理
database/sql中使用下面的Prepare方法来实现预处理操作。
func (db *DB) Prepare(query string) (*Stmt, error)
Prepare方法会先将sql语句发送给MySQL服务端，返回一个准备好的状态用于之后的查询和命令。返回值可以同时执行多个查询和命令。
查询操作的预处理示例代码如下：
package main
import "fmt"
/*
@author RandySun
@create 2021-08-30-22:56
*/
// 预处理查询示例
func prepareQueryDemo(id int) {
sqlStr := "select id, name, age from user where id > ?"
stmt, err := Db.Prepare(sqlStr)
if err != nil {
fmt.Printf("preare failed, err: %v\n", err)
return
}
defer stmt.Close()
rows, err := stmt.Query(id)
if err != nil {
fmt.Printf("query failed, err:%v\n", err)
return
}
defer rows.Close()
// 循环读取结果集中的数据
for rows.Next() {
var u User
err := rows.Scan(&u.Id, &u.Name, &u.Age)
if err != nil {
fmt.Printf("scan failed, err:%v\n", err)
return
}
fmt.Printf("id:%d, name: %s, age:%d", u.Id, u.Name, u.Age)
}
}
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
///预处理查询示例
prepareQueryDemo(3)
}
插入、更新和删除操作的预处理十分类似，这里以插入操作的预处理为例：
// 预处理插入示例
func prepareInserDemo(name string, age int) {
sqlStr := "insert into user(name, age) values(?, ?)"
stmt, err := Db.Prepare(sqlStr)
if err != err {
fmt.Printf("prepare failed, err:%v\n", err)
}
defer stmt.Close()
ret, err := stmt.Exec(name, age)
if err != nil {
fmt.Printf("insert failed, err: %d\n", err)
return
}
n, err := ret.RowsAffected()
if err != nil {
fmt.Printf("get RowsAffected failed err:%d", err)
}
fmt.Printf("insert sucesss n:%d", n)
}
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
///预处理插入
prepareInserDemo("RandySun", 18)
}
10.4 SQL注入问题
我们任何时候都不应该自己拼接SQL语句！
这里我们演示一个自行拼接SQL语句的示例，编写一个根据name字段查询user表的函数如下：
package main
import "fmt"
/*
@author RandySun
@create 2021-08-30-23:12
*/
func sqlInjectDemo(name string) {
sqlStr := fmt.Sprintf("select id, name, age from user where name='%s'", name)
fmt.Println("SQL:", sqlStr)
var u User
err := Db.QueryRow(sqlStr).Scan(&u.Id, &u.Name, &u.Age)
if err != nil {
fmt.Println("exec failed, err:", err)
return
}
fmt.Println("user: %#v", u)
}
此时以下输入字符串都可以引发SQL注入问题：
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
// sql注入
sqlInjectDemo("xxx' or 1=1#")
sqlInjectDemo("xxx' union select * from user #")
sqlInjectDemo("xxx' and (select count(*) from user) <4 #")
}
补充：不同的数据库中，SQL语句使用的占位符语法不尽相同。
| 数据库 | 占位符语法 |
|---|---|
| MySQL | ? |
| PostgreSQL | $1, $2等 |
| SQLite | ? 和$1 |
| Oracle | :name |
十一、Go实现MySQL事务
什么是事务？
事务：一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务就是一个最小的工作单元)，同时这个完整的业务需要执行多次的DML(insert、update、delete)语句共同联合完成。A转账给B，这里面就需要执行两次update操作。
在MySQL中只有使用了Innodb数据库引擎的数据库或表才支持事务。事务处理可以用来维护数据库的完整性，保证成批的SQL语句要么全部执行，要么全部不执行。
事务的ACID
通常事务必须满足4个条件（ACID）：原子性（Atomicity，或称不可分割性）、一致性（Consistency）、隔离性（Isolation，又称独立性）、持久性（Durability）。
| 条件 | 解释 |
|---|---|
| 原子性 | 一个事务（transaction）中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。事务在执行过程中发生错误，会被回滚（Rollback）到事务开始前的状态，就像这个事务从来没有执行过一样。 |
| 一致性 | 在事务开始之前和事务结束以后，数据库的完整性没有被破坏。这表示写入的资料必须完全符合所有的预设规则，这包含资料的精确度、串联性以及后续数据库可以自发性地完成预定的工作。 |
| 隔离性 | 数据库允许多个并发事务同时对其数据进行读写和修改的能力，隔离性可以防止多个事务并发执行时由于交叉执行而导致数据的不一致。事务隔离分为不同级别，包括读未提交（Read uncommitted）、读提交（read committed）、可重复读（repeatable read）和串行化（Serializable）。 |
| 持久性 | 事务处理结束后，对数据的修改就是永久的，即便系统故障也不会丢失。 |
事务相关方法
Go语言中使用以下三个方法实现MySQL中的事务操作。 开始事务
func (db *DB) Begin() (*Tx, error)
提交事务
func (tx *Tx) Commit() error
回滚事务
func (tx *Tx) Rollback() error
事务示例
下面的代码演示了一个简单的事务操作，该事物操作能够确保两次更新操作要么同时成功要么同时失败，不会存在中间状态。
package main
import "fmt"
/*
@author RandySun
@create 2021-08-30-23:25
*/
// 事务操作
func transactionDemo() {
tx, err := Db.Begin() //开启事务
if err != nil {
if tx != nil {
tx.Rollback() // 回滚
}
fmt.Printf("begin trans failed, err:%v\n", err)
return
}
sqlStr1 := "Update user set age=30 where id=?"
ret1, err := tx.Exec(sqlStr1, 2)
if err != nil {
tx.Rollback() // 回滚
fmt.Printf("exec sql1 failed, err:%v\n", err)
return
}
affRow1, err := ret1.RowsAffected()
if err != nil {
tx.Rollback() // 回滚
fmt.Printf("exec ret1.RowsAffected() failed, err:%v\n", err)
return
}
sqlStr2 := "Update user set age=4 where id=?"
ret2, err := tx.Exec(sqlStr2, 3)
if err != nil {
tx.Rollback() // 回滚
fmt.Printf("exec sql2 failed, err:%v\n", err)
return
}
affRow2, err := ret2.RowsAffected()
if err != nil {
tx.Rollback() // 回滚
fmt.Printf("exec ret1.RowsAffected() failed, err:%v\n", err)
return
}
fmt.Println(affRow1, affRow2)
if affRow1 == 1 && affRow2 == 1 {
fmt.Println("事务提交啦...")
tx.Commit() // 提交事务
} else {
tx.Rollback()
fmt.Println("事务回滚啦...")
}
fmt.Println("exec trans success!")
}
func main() {
//database/sql
err := InitDb() // 调用输出数据库的函数
if err != nil{
fmt.Printf("init db failed, err: %v\n", err)
return
}
fmt.Printf("init db success db%v\n", Db)
// 事务操作
transactionDemo()
}
0 1
事务回滚啦...
exec trans success!