zoukankan      html  css  js  c++  java
  • 数据库导入

    数据在存入文件之后这是对于数据的清洗得到的是更有价值的信息

    然而对于文献的阅读还是需要全文的展示

    所以需要导入数据库

    首先是原文的链接

    原文的链接在当初爬取过程中使用过

    通过原文链接下载pdf文件

    所以直接在pdf文件下载的时候直接将链接存入数据库

    # db = MysqlHelper(database='papercarwling', user='root', passwd='15531238359', port=3306, host='localhost')
    # sql = 'update paper set href=%s where title=%s'
    # msg = '已插入成功'
    # db.cud(sql, [url, titles[i]], msg)


    链接在导入数据库之后

    还有一个就是标题关键词和摘要的显示

    这一部分在爬取到pdf文件之后有一个就是

    将pdf文件转化为txt格式

    txt格式之下的文档内容包括全文

    然后没有图片

    可以通过对txt文档的一个字符段截取来完成这个工作

    def insert(path):
    with open(path, 'r', encoding="utf-8") as f:
    txtname = get_file_name(path)
    read_data = f.read()
    a = read_data.split('Abstract')
    b = str("Abstract"+a[1])
    c = b.split('Introduction')
    print(c[0]) # 这一行可以单独打印第几个字符串
    d = str(c[0])
    x = d.split(' ')
    db = MysqlHelper(database='papercarwling', user='root', passwd='15531238359', port=3306, host='localhost')
    sql = 'insert into paper(title,abstract,keywords)VALUE(%s,%s,%s)'
    msg = '已插入成功'
    db.cud(sql, [txtname, x[0], x[1]], msg)
    f.closed


  • 相关阅读:
    测试用例原理以及设计方法
    软件测试方法大汇总(转)
    黑盒测试用例大集
    博客第一篇章
    什么是Shell脚本
    部署 Django
    Django 国际化和本地化
    Django与CSRF 、AJAX
    认证系统 Authentication
    Django与缓存
  • 原文地址:https://www.cnblogs.com/chaogehahaha/p/14915749.html
Copyright © 2011-2022 走看看