百度热搜爬取并制作词云图

1.先找到百度热搜风云榜。

2.需要插件selenium，这个插件使用起来非常方便，可以模拟打开浏览器，找到数据的位置。

   使用的时候要导入

from selenium.webdriver import Chrome,ChromeOptions

　　还需要下载一个谷歌驱动，在创建浏览器对象的时候要指明驱动的位置，否则无法使用

3.接下来就可以定位元素进行爬取，这儿我是用的是Xpath定位，并将其保存到数据库

def baidu_hot():
    url = "http://top.baidu.com/buzz?b=42&c=513&fr=topbuzz_b1_c513"
    option = ChromeOptions()
    option.add_argument("--headless")  #隐藏浏览器，在运行的时候不会自动打开浏览器
    res = requests.get(url)
    #创建浏览器对象
    #r"F:pycharm_projectchromedriver.exe"
    brower = Chrome("F:pycharm_projectchromedriver.exe")  #需要写入驱动的安装路径，否则无法使用驱动导致报错
    brower.get(url)
    contents = brower.find_elements_by_xpath('//*[@id="main"]/div[2]/div/table/tbody/tr/td[2]/a[1]')#  xpath 路径来找到热搜内容
    clicks = brower.find_elements_by_xpath('//*[@id="main"]/div[2]/div/table/tbody/tr/td[4]/span')  # xpath 路径找到点击量
    content,click = [],[]
    content = [i.text for i in contents]  #列表推导式来简化代码 并且保存到content列表中
    click = [i.text for i in clicks]
    brower.close()
    return content,click

def get_serachhot():
        cursor = None
        conn = None
        context = baidu_hot()[0]
        click = baidu_hot()[1]
        dict = {context[i]:click[i] for i in range(len(context))}
        print(f'{time.asctime()}开始更新热搜榜')
        conn,cursor = get_conn()
        sql = "insert into baidu_hot(datetime,content,click) values(%s,%s,%s)"
        sql_clean = "TRUNCATE TABLE baidu_hot"
        cursor.execute(sql_clean)
        ts = time.strftime("%Y-%m-%d %X")
        for key,value in dict.items():
            cursor.execute(sql,(ts,key,value))
        conn.commit()
        print(f'{time.asctime()}更新热搜榜完毕')
        close_conn(conn,cursor)

 这样就把实时数据爬取到的数据库

4.接下来可以进行词云图的制作

  4.1要想制作词云图，要先用ajax把数据取从数据库读出来。

@app.route('/r2')
def get_r2_data():
    """

    :return:  返回最近的20条热搜
    """
    sql = 'select content,click from baidu_hot order by click desc limit 20'
    res = query(sql) #格式 (('杭州杀妻嫌犯疑似涉及另一桩命案', 819272), ('四川安岳男子趁妻子熟睡将其杀害', 795389))
    d = []
    for i in res:
        k = i[0]  # 移除热搜数字
        v = i[1] # 获取热搜数字
        ks = extract_tags(k)  # 使用jieba 提取关键字
        for j in ks:
            if not j.isdigit():
                d.append({"name": j, "value": v})
    return jsonify({"kws": d})

 4.2用echarts制作词云图

      <script src="../static/js/echarts-wordcloud.min.js"></script>

       这个云图的包是必不可少的

       最后进行云图的数据配置

var ec_right2 = echarts.init(document.getElementById('r2'), "dark");
var ec_right2_option = {
                        // backgroundColor: '#515151',
                        title : {
                            text : "7日百度热搜",
                            textStyle : {
                                color : 'white',
                            },
                            left : 'left'
                        },
                        tooltip: {
                            show: false
                        },
                        series: [{
                                type: 'wordCloud',
                                // drawOutOfBound:true,
                                gridSize: 1,
                                sizeRange: [12, 55],
                                rotationRange: [-45, 0, 45, 90],
                                // maskImage: maskImage,
                                textStyle: {
                                    normal: {
                                        color: function () {
                                            return 'rgb(' +
                                                    Math.round(Math.random() * 255) +
                                                    ', ' + Math.round(Math.random() * 255) +
                                                    ', ' + Math.round(Math.random() * 255) + ')'
                                        }
                                    }
                                },
                                // left: 'center',
                                // top: 'center',
                                // //  '96%',
                                // // height: '100%',
                                right: null,
                                bottom: null,
                                //  300,
                                // height: 200,
                                // top: 20,
                                data:  []
                            }]
                    }

ec_right2.setOption(ec_right2_option);

这样工作就基本完成了，来看看效果：