zoukankan      html  css  js  c++  java
  • stop_token.go

    package engine

    import (
        "bufio"
        "log"
        "os"
    )

    type StopTokens struct {
        stopTokens map[string]bool
    }

    // 从stopTokenFile中读入停用词,一个词一行
    // 文档索引建立时会跳过这些停用词
    func (st *StopTokens) Init(stopTokenFile string) {
        st.stopTokens = make(map[string]bool)
        if stopTokenFile == "" {
            return
        }

        file, err := os.Open(stopTokenFile)
        if err != nil {
            log.Fatal(err)
        }
        defer file.Close()

        scanner := bufio.NewScanner(file)
        for scanner.Scan() {
            text := scanner.Text()
            if text != "" {
                st.stopTokens[text] = true
            }
        }

    }

    func (st *StopTokens) IsStopToken(token string) bool {
        _, found := st.stopTokens[token]
        return found
    }

  • 相关阅读:
    Nginx的访问控制
    远程登录
    Linux的网络命令
    laravel-collect
    laravel-model
    laravel-Macroable
    laravel-容器
    机器学习-Logisitic回归
    机器学习-多变量线性回归
    算法笔记-分支界限法
  • 原文地址:https://www.cnblogs.com/zhangboyu/p/7461679.html
Copyright © 2011-2022 走看看