zoukankan      html  css  js  c++  java
  • 记一个 aliyun tablestore go client 的大坑

    有个项目年前要做最后一次上线。项目中有用到 aliyun tablestore 的一个模块我做了一次重构。

    这个模块的主要功能为从 Kafka 订阅消息,做一个的格式化处理之后存储到 aliyun 的 TableStore。并且提供接口根据查询参数从 aliyun tablestore 查询相关的数据。重构后查询接口的部分代码如下:

    func GetLimit(userID, deviceName string, messageID int64, limit int32) ([]*StoredMessage, error) {
    	request := &tablestore.GetRangeRequest{}
    	rangeRowQueryCriteria := &tablestore.RangeRowQueryCriteria{}
    	rangeRowQueryCriteria.TableName = tableName
    	startPK := new(tablestore.PrimaryKey)
    	startPK.AddPrimaryKeyColumn(primaryUserID, userID)
    	startPK.AddPrimaryKeyColumn(primaryDeviceName, deviceName)
    	startPK.AddPrimaryKeyColumn(primaryMessageID, messageID)
    	endPK := new(tablestore.PrimaryKey)
    	endPK.AddPrimaryKeyColumn(primaryUserID, userID)
    	endPK.AddPrimaryKeyColumn(primaryDeviceName, deviceName)
    	endPK.AddPrimaryKeyColumn(primaryMessageID, math.MinInt64)
    	rangeRowQueryCriteria.StartPrimaryKey = startPK
    	rangeRowQueryCriteria.EndPrimaryKey = endPK
    	rangeRowQueryCriteria.Direction = tablestore.BACKWARD
    	rangeRowQueryCriteria.MaxVersion = 1
    	rangeRowQueryCriteria.Limit = limit
    	request.RangeRowQueryCriteria = rangeRowQueryCriteria
    
    	response, err := client.GetRange(request)
    	if err != nil {
    		return nil, err
    	}
    
    	...
    }
    

    项目更新上线之后,查询接口失效了。从日志系统没有捞到错误日志。这么一想,可能是 panic 了,从 daoker 容器直接去捞日志。果然,发现了 panic 的信息。(由于这个模块的 panic 日志没有通过 syslog 发送出去,所以日志系统查不到。万恶的 panic)

    好了,分析问题(panic 日志具体已经找不到了,我没存下来)。问题在 client.GetRange 这个方法上,根据源码进一步深入,会发现下面的代码:

    func NewPrimaryKeyColumn(name []byte, value interface{}, option PrimaryKeyOption) *PrimaryKeyColumnInner {
    
    	if option == NONE {
    		v := &PrimaryKeyColumnInner{}
    		v.Name = name
    
    		t := reflect.TypeOf(value)
    		switch t.Kind() {
    		case reflect.String:
    			v.Type = otsprotocol.PrimaryKeyType_STRING
    
    		case reflect.Int64:
    			v.Type = otsprotocol.PrimaryKeyType_INTEGER
    
    		case reflect.Slice:
    			v.Type = otsprotocol.PrimaryKeyType_BINARY
    
    		default:
    			panic(errInvalidInput)
    		}
    
    		v.Value = value
    
    		return v
    	} else if option == AUTO_INCREMENT {
    		return NewPrimaryKeyColumnAuto_Increment(name)
    	} else if option == MIN {
    		return NewPrimaryKeyColumnINF_MIN(name)
    	} else {
    		return NewPrimaryKeyColumnINF_MAX(name)
    	}
    }
    

    所以它的 PrimaryKeyColumn 的值类型只能是 string, int64 或者 slice 其中一种。而我传递的 math.MinInt64 是 untyped int。就直接 panic 了。

    解决方法简单,转一下就行了。int64(math.MinInt64)

    这个 sdk 的注释真的不多,GetRange 的方法上也没有注释,真是让人很容易用错。最根本问题是,这种直接 panic 的代码逻辑真的是害死人。所以啊 Don't use panic, use error!

    使用的 aliyun tablestore go client sdk 版本为 v4.1.3。aliyun-tablestore-go-sdk@v4.1.3

  • 相关阅读:
    TSQL 基础学习 04
    第13章 网络编程
    Oracle 第一天
    第11章 进程与多线程
    Linux 第06天
    构造Json对象串工具类
    第14章 数据库
    第07章 集合
    YARNMR 大数据第二天
    第12章 多媒体
  • 原文地址:https://www.cnblogs.com/snowInPluto/p/14442110.html
Copyright © 2011-2022 走看看