机器学习——原理篇

代码实现简单的机器学习

import numpy as np

# 生成随机权值(无先验经验时一般使用随机权值)
m = np.random.randint(100, size=10)
# 训练数据
x = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])
# 训练数据对应的期望目标(学习目标) False为奇数，True为偶数
y = np.array([False, True, False, True, False, True, False, True, False, True])
# 阈值(自行设置)
thresh_hold = 52
# 学习率，即变化幅度
alpha = 5


#
def active():
    print(m)
    return m * x


def ajust_m(j):
    err = 0
    right = 0
    o_new = active()
    o_t = o_new > thresh_hold
    for i in range(10):
        if o_t[i] != y[i]:
            err += 1
            if o_t[i]:
                m[i] = m[i] - alpha
            else:
                m[i] = m[i] - alpha
        else:
            right += 1
    return right


def predict(a):
    result = a * m[a - 1]
    if result > thresh_hold:
        return True
    else:
        return False


for j in range(100):
    right = ajust_m(j)
    if right == 10:
        print('第{}次已经训练成功，停止训练'.format(j + 1))
        break
    if j == 99 and right != 10:
        print('训练了{}次，训练失败！！'.format(j + 1))

print('', predict(8))

机器学习简要概念

A，B表明两个工作地点的收益，A一个小时50￥，B一个小时100￥
W1，W2是两地工作时间，称为权重，机器学习中要调整的系数，[W1,W2]构成一个二维搜索空间
T = W1*A + W2*B 是我们的评估函数
TMax = 650 是期望目标，也是我们的学习目标
每天工作8小时，每地至少工作1小时，这是学习约束

delta = |T - TMax| 绝对值是我们的评估函数，损失函数(cost,loss)
delta = 达到什么结果搜索结束，由算法来设计，例如delta=1 搜索结束(搜索结束也称为函数收敛)

在搜索空间中尝试搜索过程中，对W1，W2改变的幅度称为学习率

机器学习词汇

• 节点
  • predicting a category：预测类别
  • predicting a quantity：预测数值
  • labeled data：是否数据打过标签
• 回归
  • SGD Regressor：随机梯度下降回归
  • Lasso/ElasticNet Lasso：弹性网络 回归
  • SVR (kernel='linear')：支持向量机回归使用线性函数作为核函数
  • SVR (kernel='rbf')：支持向量机回归使用径向基函数
  • RidgeRegressor：岭回归
• 分类
  • Linear SVC：线性支持向量机分类
  • Navie Bayes：朴素贝叶斯
  • KNeighbors Classifier：K近邻分类器
  • SVC：支持向量机分类器
  • SGD Classifier：随机梯度下降分类器
  • kernel approximation：核近似方法
• 聚类
  • MiniBatch KMeans：最小族(束)KMeans
  • KMeans：传统KMeans
  • Spectral Clustering：谱聚类
  • GMM：混合高斯模型
  • VBGMM：VB混合高斯模型