zoukankan      html  css  js  c++  java
  • 特征抽取 — TF-IDF

    特征处理相关的算法,大体分为以下三类: 特征抽取:从原始数据中抽取特征
    特征转换:特征的维度、特征的转化、特征的修改
    特征选取:从大规模特征集中选取一个子集

     #导入相关的库

    from pyspark.ml.feature import HashingTF,IDF,Tokenizer
    from pyspark.sql import SparkSession
    #创建SparkSession对象
    spark = SparkSession.builder.master('local').appName('TF-DF').getOrCreate()
     
    #创建一个DataFrame, 每个句子代表一个文档
    sentenceData = spark.createDataFrame([
    (0,"I heard about Spark and I love Spark"),
    (0,"I wish Java could use case classes"),
    (1,"Logistic regression models are neat")]).toDF("label","sentence")
    #用tokenizer对句子进行分词
    tokenizer = Tokenizer(inputCol="sentence", outputCol="words")
    wordsData = tokenizer.transform(sentenceData)
    #用HasdingTf的transform方法把句子哈希成特征向量,这里的哈希表的桶数设为2000
    hashingTF = HashingTF(inputCol="words", outputCol= "rawFeatures",numFeatures=20)
    featurizeData = hashingTF.transform(wordsData)
    #用IDF来对单纯的词频特征向量进行修正,使其更能体现不同词汇对文本的区别能力,IDF是一个Estimator,调用fit()方法并将词频向量传入,即产生一个IDFModel。
    idf = IDF(inputCol="rawFeatures", outputCol="features")
    idfModel = idf.fit(featurizeData)
    #IDFModel是一个Transformer,调用它的transform()方法,即可得到每一个单词对应的TF-IDF度量值。
    rescaledData = idfModel.transform(featurizeData)
    rescaledData.select("label","features").show()
     
     
    效果:
  • 相关阅读:
    MySQL字符串中数字排序的问题
    Jquery 实现跨域处理
    mysql中insert into select from的使用
    Mysql索引会失效的几种情况分析(转)
    ASP.Net Web API 输出缓存(转)
    8 种提升 ASP.NET Web API 性能的方法 (转)
    C#进阶系列——WebApi 异常处理解决方案(转)
    C#使用Log4Net记录日志(转)
    前端传递对象列表到WebApi
    忏悔录
  • 原文地址:https://www.cnblogs.com/SoftwareBuilding/p/9462306.html
Copyright © 2011-2022 走看看