信息化领域热词分类分析及解释

（1） 项目名称：信息化领域热词分类分析及解释

（2） 功能设计：
1) 数据 采集：要求从定期自动从网络中爬取信息领域的相关热
词；
2) 数据 清洗：对热词信息进行数据清洗，并采用自动分类技术
生成信息领域热词目录，；
3) 热 热 词 解释：针对每个热词名词自动添加中文解释（参照百度
百科或维基百科）；
4) 热词 引用 ：并对近期引用热词的文章或新闻进行标记，生成
超链接目录，用户可以点击访问；
5) 数据 可视化 展示：
① 用字符云或热词图进行可视化展示；
② 用关系图标识热词之间的紧密程度。
6) 数据 报告：可将所有热词目录和名词解释生成 WORD 版报告
形式导出。

显示如下：

 

项目目录

 

爬取博客园：cnblogs.py

#-*- codeing = utf-8 -*-
#@Time : 2020/8/8 22:16
#@Author : 刘子煜
#@File : cnblogs.py
#@Software : PyCharm
import requests
from bs4 import BeautifulSoup
import sqlite3

def main():
    datalist = getdata()
    dbpath = "xinxi.db"
    savedataDB(datalist,dbpath)

def getdata():
   datalist = []
   for index in range(200):
      print("#"*30,index+1)
      url = "https://www.cnblogs.com/"
      data = {"CategoryType":"SiteHome",
            "ParentCategoryId":0,
            "CategoryId":808,
            "PageIndex":index+1,
            "TotalPostCount":4000,
            "ItemListActionName":"AggSitePostList"
             }

      r = requests.post(url,data=data)
      # print(r.status_code )
    # if r.status_code!=200:
    #     raise Exception()
      soup = BeautifulSoup(r.text,"html.parser")

      items = soup.find_all("div",class_="post-item-text")

      for item in items:
          data = []
          link = item.find("a",class_="post-item-title")
          # print(link["href"],link.get_text())
          data.append(link["href"])
          data.append(link.get_text())
          datalist.append(data)
   return datalist

def savedataDB(datalist,dbpath):
   init_db(dbpath)
   conn = sqlite3.connect(dbpath)
   cur = conn.cursor()

   for data in datalist:
        for index in range(len(data)):
            data[1] = data[1].replace(""","")
            data[index] = '"'+data[index]+'"'
        sql = '''
                insert into messagec (
                info_link,title) 
                values(%s)'''%",".join(data)
        # print(sql)
        cur.execute(sql)
        conn.commit()
   cur.close()
   conn.close()

def init_db(dbpath):
    sql = '''
        create table messagec 
        (
        id integer primary key autoincrement,
        info_link text,
        title text
        )

    '''  # 创建数据表
    conn = sqlite3.connect(dbpath)
    cursor = conn.cursor()
    cursor.execute(sql)
    conn.commit()
    conn.close()

if __name__ == "__main__":          #当程序执行时
#调用函数
    main()
    #init_db("movietest.db")
    print("爬取完毕！")

数据处理：app.py

from flask import Flask,render_template
import jieba
import sqlite3
import urllib.request
from flask import request
from collections import Counter
from bs4 import BeautifulSoup
app = Flask(__name__)


@app.route('/index')
def index():
    return render_template("index.html")
@app.route('/')
def index1():
    return render_template("index.html")
@app.route('/boke')
def boke():
    datalist = []
    con = sqlite3.connect("xinxi.db")
    cur = con.cursor()
    sql = "select * from messagec"
    data = cur.execute(sql)
    for item in data:
        datalist.append(item)
    cur.close()
    con.close()
    print(datalist)

    return render_template("boke.html",bokes=datalist)

@app.route('/search')
def search():
      return render_template("search.html")
@app.route('/search_data',methods=['GET','POST'])
def search_data():
    # 取出待搜索keyword
    datalist = []
    if request.method=='POST':
      keyword = request.form['keyword']
      print(keyword)

      con = sqlite3.connect("xinxi.db")
      cur = con.cursor()
      sql = "select * from messagec where title like '%"+keyword+"%'"
      data = cur.execute(sql)
      for item in data:
          datalist.append(item)
      cur.close()
      con.close()
      print(datalist)
      return render_template('search.html',bokes=datalist)
    return render_template('search.html',bokes=datalist)

@app.route('/wordcloud')
def wordcloud():
    con = sqlite3.connect('xinxi.db')
    cur = con.cursor()
    sql = 'select title from messagec'
    data = cur.execute(sql)
    text = ""
    for item in data:
        text = text + item[0]
        # print(item[0])
    # print(text)
    cur.close()
    con.close()
    word = []
    num = []

    # 分词
    # '十','好','解','功','次','性','优','发','件','9','种','象','以','容','机','间','手','人','级','么',
    cut = jieba.cut(text)
    str = ['的', '，', '）', '（', '-', '.', '—', '：', '之', '(', ')', '？', '和', '使用', '实现', '、', '与', '！', '你', '了', '中',
           '】', '【', '系列', '学习', '如何', '+', '源码', '入门', '我', '开发', '详解', '从', '分析', '实战', '及', '一', '原理', '是', '在', '到',
           '一个', '问题', '应用', '项目', '基于', ':', '解析', '理解', '--', '篇', '代码', '笔记', '用', '|', '微', '二', '/', '方法', '技术',
           '深入', '总结', '简单', '上', '教程', '下', '学', '看', '2', '小', '了解', '什么', '1', '个', '不', '3', ',', '[', ']', '_',
           '多', '《', '》', '说', '一文', '吗', '三', '对', '为什么', '高', '介绍', '「', '」', '---', '带', '创建', '5', '来', '新', '这',
           '过程', '做', '有', '4', '一次', '&', '个', '@', '让', '知道', '都', '“', '”', '懂', '器', '以及', '解决', '记', '还', '怎么',
           '生成', '进行', '自己', '10', '问', '一篇', '进阶', '相关', '玩转', '关于', '手把手', '四', '6', '第', '大', '被', '工作', '能', '这么',
           '就', '7', '利用', '教', '基本', '时', '会', '重', '给', '通过', '热点', '思考', '写', '五', '为', '真的', 'x', '并', '也', '及其',
           'three', '8', '分享', '常用', '要', '一起', '2020', '那些', '知识点', '手写', '化', '最佳', '不会', '0', '开始', '从零开始', '最',
           '师妹', '完', '零', '区别', '轻松', '需要', '指南', '优雅', '去', '任务', '六', '垃圾', '干货', 'i', '持续', '支持', '初识', '搞懂', '年',
           '我们', '循序渐进', '文', '可能', '这些', '原创', '后', '必备', '解决方案', '整理', '八', '可用']

    str1 = ['践', '九', '十', '好', '解', '功', '次', '性', '优', '发', '件', '9', '种', '象', '以', '容', '机', '间', '手', '人', '级',
            '么', '可', '组', '注', '制', '布', '调', '特', '七', '全', '起', '真', '利', '再', '更', '些', '点', '详细', '引', '需', '自',
            '信', '其', '们', '讲', '前', '过', '论', '常', '搞', '实', '章', '附', '分钟', '动', '录', '精通', '户', '样', '各', '成', '超',
            '够', '坑']
    string = ' '.join(cut)
    # 清洗数据
    for i in str:
        string = string.replace(i, "")
    for j in str1:
        string = string.replace(j, "")
    print(string)
    print(len(string))
    # print(string[1])
    string1 = string.split()
    # print(string1[12])
    # print(type(string1))
    # print(string1)
    count = Counter(string1)
    for (k, v) in count.most_common(50):  # 输出词频最高的前50两个词
        print("%s:%d" % (k, v))
        word.append(k)
        num.append(v)
    word[1]="spring"
    word[9] = "Redis"
    word[40] = "Spring Boot"
    print(word[40])
    introductionlist = []
    baseurl = "https://baike.baidu.com/"
    for i in word:
        # print(i)
        string = 'item/' + i
        string = urllib.parse.quote(string)  # 编码
        url = baseurl + string
        # print(url)
        response = urllib.request.urlopen(url, timeout=30)  # 访问并打开url
        html = response.read()  # 创建html对象读取页面源代码

        soup = BeautifulSoup(html, 'html.parser')  # 创建soup对象，获取html代码
        introduction = soup.find_all('div', class_="para")

        if len(introduction) == 0:
            print(i + ":没有找到解释！")
            string2 = ":没有找到解释！"
            introductionlist.append(string2)
            print("-" * 30)
        else:
            print(i + ":" + introduction[0].get_text())
            introductionlist.append(introduction[0].get_text())
            print("-" * 30)
    print(introductionlist[0])
    print("^"*30)
    print(introductionlist[1])

    return render_template("wordcloud.html",word=word,num=num,introductionlist=introductionlist)


if __name__ == '__main__':
    app.run()

html就不放出来了，套用的模板，需要的完整的可以联系作者哦。