词袋法:
统计文本中出现的各个单词出现的数量,使用单词出现的数量作为文本的特征向量,使用单词作为特征, 但是单词一般情况比较多,所以考虑使用自定义词典作为特征,然后对自定义词典中的单词出现的数量进行统计即可.(频数)
哑编码:
将有限个类别的特征属性转换为数值型的特征向量,也就是用向量的形式来表示特征
1-of-k:(类别尽可能互斥)
功能:将非数值型的特征转换为数值型的数据;要求特征值的取值只有k种
描述:假设变量的取值有k个,如果对这些值用1到k编序,则可用维度为k的向量来表示一个变量的值.在这样的向量里,该取值所对应的序号所在的元素为1,其他元素均为0.
TF-IDF
TF:指的是一个单词在当前文档中的所有单词中占的比例
IDF:逆文档频率,指的是所有文档中,包含当前单词的文档的逆向频率
TF-IDF公式(只是一个表现形式,具体怎么选择根据实际情况):
TF-IDF=TF*IDF
TF-IDF=TF*ln(IDF)
TF-IDF=TF*ln(IDF+1) #表面IDF=0的情况 使用的比较多
TF-IDF=TF*[1+ln(IDF+1)] #也可以改为对数函数
TF-IDF解释:
词条的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降;也就是说词条在文本中出现的次数越多,表示该词条对文本的重要性越高.TF(词频)指某个词条在文本中出现的次数,一般会将其进行归一化处理(该词条数量/该文档中是所有词条数量);IDF(逆向文件频率)指一个词条的重要性的度量,一般计算方式为总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到.TF-IDF实际上是:TF*IDF