度量函数-metrics
auto-sklearn的度量函数是对sklearn度量函数的封装,我们即可以使用autosklearn已经封装好的metrics函数,也可以使用autosklearn的metrics函数封装器make_scorer函数封装我们自己的么metrics函数
使用autosklearn已经封装好的metrics函数
如果仅仅是获取的话,最简易的一种方式是直接去找源代码.你可以直接输入并点击autosklearn.metrics从而进入该方法的__Init__.py文件,在其中的第180行有使用make_scorer函数进行封装的源代码:
# Standard regression scores
r2 = make_scorer('r2', sklearn.metrics.r2_score)
mean_squared_error = make_scorer('mean_squared_error',
sklearn.metrics.mean_squared_error,
greater_is_better=False)
......
# Score functions that need decision values
roc_auc = make_scorer('roc_auc', sklearn.metrics.roc_auc_score,
greater_is_better=True, needs_threshold=True)
......
二其中的r2则是autosklearn分类器的默认参数.如果我们想要使用这些函数的话,也十分的简单.下面就是一个使用正确率的函数
cls.fit(X_train, y_train, metric=autosklearn.metrics.accuracy)
不过根据autosklearn中的example,我们还可以使用以下代码直接获取相应的metrics函数的名字
# Print a list of available metrics
print("Available CLASSIFICATION metrics autosklearn.metrics.*:")
print(" *" + "
*".join(autosklearn.metrics.CLASSIFICATION_METRICS))
print("Available REGRESSION autosklearn.metrics.*:")
print(" *" + "
*".join(autosklearn.metrics.REGRESSION_METRICS))
利用autosklearn的封装器,封装我们自己的metrics函数
如同前面所写,我们使用make_scorer封装我们自己的评价函数:
def accuracy(solution, prediction):
# function defining accuracy
return np.mean(solution == prediction)
def accuracy_wk(solution, prediction, dummy):
# function defining accuracy and accepting an additional argument
assert dummy is None
return np.mean(solution == prediction)
accuracy_scorer = autosklearn.metrics.make_scorer(name="accu_add",
score_func=accuracy, # 此处使用上面的那一个函数都可以
greater_is_better=True,
needs_proba=False,
needs_threshold=False,
dummy=None)
cls = autosklearn.classification.
AutoSklearnClassifier(time_left_for_this_task=60,
per_run_time_limit=30, seed=1)
cls.fit(X_train, y_train, metric=accuracy_scorer)
如前面所示,封装我们自己的评价函数或者说度量函数一共分为两步
- 第一步,设置一个函数,参数最起码为二,格式如上
- 第二步,使用make_scorer() 方法,制作我们自己的 scorer
其他常用函数
print(automl.show_models()):该语句的作用是展示最后我们获取的最佳模型
print(automl.sprint_statistics()):该语句的作用是展示模型的状态,该语句输出如下
auto-sklearn results:
Dataset name: digits
Metric: accuracy
Best validation score: 0.991011
Number of target algorithm runs: 25
Number of successful target algorithm runs: 0
Number of crashed target algorithm runs: 0
Number of target algorithms that exceeded the memory limit: 0
Number of target algorithms that exceeded the time limit: 0
**中文对照:**
uto-sklearn结果:
数据集名称:数字
度量:准确性
最好的验证分数:0.991011
目标算法的运行次数:25
成功的目标算法的数量:0
目标算法的崩溃次数:0
超过内存限制的目标算法数量:0
超过时间限制的目标算法的数量:0