使用哪种系统主要看数据量,没有数据或者数据量很少的时候使用专家系统,有大量数据的时候使用机器学习或者深度学习
专家系统=推理引擎+知识
任务:搭建金融知识图谱
1、金融领域或者风控领域的专家,输出经验
2、知识图谱工程师结合专家的经验构建知识图谱,并将知识导入到知识库中
3、AI/算法工程师构建推理引擎(基于知识库),生成API
4、业务系统使用API,即可使用金融知识图谱
专家系统的特点:
-
处理不确定性
-
知识的表示,如知识图谱,将非结构的知识表示成结构化的知识图谱
-
可解释性,因为它是基于规则来做的,规则是很好解释的,所以专家系统具有非常好的可解释性
-
可以做知识推理,因为它的可解释性较强,因此可以做推理
专家系统的缺点:
-
涉及大量的规则
-
需要领域专家来主导
-
可移植性差
-
学习能力差
-
人能考虑的范围是有限的
搭建专家系统时可能会遇到的问题:
-
逻辑推理
-
解决规则冲突,引用逻辑推理的方法:有n条已知的规则,有1条规则是需要证明的,如果能证明出来,说明规则没有冲突,否则,规则是冲突的,我们需要删除冲突的规则
-
选择最小规则的子集,有很多的方法,如贪心方法等
解决一个难题的思路:
-
找出一个类似的“经典的”问题,如选择最小规则的子集方法,对应的经典问题可以是“set cover problem”
-
阅读相关文献
机器学习
1、定义:自动从已有的数据里找出一些规律,然后把学到的这些规律应用到对未来数据的预测中,或者在不确定环境下自动的做一些决策。
2、分类:
监督学习 | 无监督学习 | |
---|---|---|
生成模型 | 朴素贝叶斯方法 | HMM,LDA,GMM(高斯混合模型) |
判别模型 | 逻辑回归方法,CRF模型 | 无 |
监督学习:线性回归,逻辑回归,朴素贝叶斯,神经网络,SVM,随机森林,Adaboost,CNN等
无监督学习:K-means(聚类),PCA,ICA,MF(矩阵分解),LSA,LDA
生成模型:通过已训练好的模型,生成数据
判别模型:计算数据之间的区别
搭建一个模型的工作流程:
1、经典流程:数据——>数据清洗——>特征工程——>建模——>预测