zoukankan      html  css  js  c++  java
  • 离线电商数仓(十五)之系统业务数据仓库数据采集(二)业务数据采集模块(一)

    1 MySQL安装

    1.1 安装包准备

    1)卸载自带的Mysql-libs(如果之前安装过mysql,要全都卸载掉)

    [atguigu@hadoop102 software]$ rpm -qa | grep -i -E mysql|mariadb | xargs -n1 sudo rpm -e --nodeps

    2)将安装包和JDBC驱动上传到/opt/software,共计6

    01_mysql-community-common-5.7.16-1.el7.x86_64.rpm

    02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm

    03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

    04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

    05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

    mysql-connector-java-5.1.27-bin.jar

    1.2 安装MySQL

    1)安装mysql依赖

    [atguigu@hadoop102 software]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm

    [atguigu@hadoop102 software]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm

    [atguigu@hadoop102 software]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

    2)安装mysql-client

    [atguigu@hadoop102 software]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

    3)安装mysql-server

    [atguigu@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

    4)启动mysql

    [atguigu@hadoop102 software]$ sudo systemctl start mysqld

    5)查看mysql密码

    [atguigu@hadoop102 software]$ sudo cat /var/log/mysqld.log | grep password

    1.3 配置MySQL

    配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。

    1)用刚刚查到的密码进入mysql(如果报错,给密码加单引号)

    [atguigu@hadoop102 software]$ mysql -uroot -p 'password'

    2)设置复杂密码(由于mysql密码策略,此密码必须足够复杂)

    mysql> set password=password("Qs23=zs32");

    3)更改mysql密码策略

    mysql> set global validate_password_length=4;

    mysql> set global validate_password_policy=0;

    4)设置简单好记的密码

    mysql> set password=password("000000");

    5)进入msyql

    mysql> use mysql

    6)查询user

    mysql> select user, host from user;

    7)修改user表,把Host表内容修改为%

    mysql> update user set host="%" where user="root";

    8)刷新

    mysql> flush privileges;

    9退出

    mysql> quit;

    2 业务数据生成

    2.1 连接MySQL

    通过MySQL操作可视化工具SQLyog连接MySQL

    2.2 建表语句

    1通过SQLyog创建数据库gmall

    2)设置数据库编码

     

    3)导入数据库结构脚本(gmall2020-04-01.sql

     

    注意:完成后,要记得右键,刷新一下对象浏览器,就可以看见数据库中的表了

    2.3 生成业务数据

    1)在hadoop102/opt/module/目录下创建db_log文件夹

    [atguigu@hadoop102 module]$ mkdir db_log/

    2)gmall2020-mock-db-2020-04-01.jarapplication.properties上传到hadoop102/opt/module/db_log路径上。

    3)根据需求修改application.properties相关配置

    logging.level.root=info
    
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    spring.datasource.url=jdbc:mysql://hadoop102:3306/gmall?characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8
    spring.datasource.username=root
    spring.datasource.password=000000
    
    logging.pattern.console=%m%n
    
    
    mybatis-plus.global-config.db-config.field-strategy=not_null
    
    
    #业务日期
    mock.date=2020-06-14
    #是否重置
    mock.clear=1
    
    #生成新用户数量
    mock.user.count=1000
    #男性比例
    mock.user.male-rate=20
    #用户数据变化概率
    mock.user.update-rate:20
    
    #收藏取消比例
    mock.favor.cancel-rate=10
    #收藏数量
    mock.favor.count=100
    
    #购物车数量
    mock.cart.count=30
    #每个商品最多购物个数
    mock.cart.sku-maxcount-per-cart=3
    #购物车来源  用户查询,商品推广,智能推荐, 促销活动
    mock.cart.source-type-rate=60:20:10:10
    
    #用户下单比例
    mock.order.user-rate=95
    #用户从购物中购买商品比例
    mock.order.sku-rate=70
    #是否参加活动
    mock.order.join-activity=1
    #是否使用购物券
    mock.order.use-coupon=1
    #购物券领取人数
    mock.coupon.user-count=1000
    
    #支付比例
    mock.payment.rate=70
    #支付方式 支付宝:微信 :银联
    mock.payment.payment-type=30:60:10
    
    
    #评价比例 好:中:差:自动
    mock.comment.appraise-rate=30:10:10:50
    
    #退款原因比例:质量问题 商品描述与实际描述不一致 缺货 号码不合适 拍错 不想买了 其他
    mock.refund.reason-rate=30:10:20:5:15:5:5

    4)并在该目录执行,如下命令,生成2020-06-14日期数据:

    [atguigu@hadoop102 db_log]$ java -jar gmall2020-mock-db-2020-04-01.jar

    5)在配置文件application.properties中修改

    mock.date=2020-06-15

    mock.clear=0

    6)再次执行命令,生成2020-06-15日期数据:

    [atguigu@hadoop102 db_log]$ java -jar gmall2020-mock-db-2020-04-01.jar

    2.2.4 业务数据建模

    可借助EZDML这款数据库设计工具,来辅助我们梳理复杂的业务表关系。

    1)下载地址

    http://www.ezdml.com/download_cn.html

    2)使用说明

    1)新建模型

    2)命名模型

    3)点击图标,选中模型

    4)导入数据库

    5)配置数据库连接

    6)选择导入的表

    7)建立表关系

    第一步:点击选中主表(主键所在的表)

     

    第二步:点击连接按钮

    第三步:点击从表,配置连接条件

    第四步:效果展示

    3)使用技巧

    1)缩略图

    2)热键

    按住shift键,用鼠标点击表,进行多选,可实现批量移动

    按住ctrl键,用鼠标圈选表,也可进行多选,实现批量移动

    本文来自博客园,作者:秋华,转载请注明原文链接:https://www.cnblogs.com/qiu-hua/p/14118257.html

  • 相关阅读:
    kmp模板
    2017 ACM/ICPC Asia Regional Shenyang Online transaction transaction transaction
    2017 ACM/ICPC Asia Regional Shenyang Online 12 card card card
    KMP
    最长不下降子序列
    codeforces round 433 D. Jury Meeting
    codeforces round 433 C. Planning 贪心
    hdu 5792 线段树+离散化+思维
    hdu 5792 树状数组+离散化+思维
    hdu 5791 思维dp
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/14118257.html
Copyright © 2011-2022 走看看