zoukankan      html  css  js  c++  java
  • 如何快速生成100万不重复的8位编号 (转)


    最近在论坛看到有人问,如何快速生成100万不重复的8位编号,对于这个问题,有几点是需要注意的:

    1.    如何生成8位随机数,生成的数越随机,重复的可能性当然越小

    2.    控制不重复

    3.    考虑性能

    针对这个问题,我写了如下的示例来解决,希望能为有这类需求的人提供指导

    生成100万条8位不重复数据的示例

    USE tempdb

    GO

    -- 创建测试表

    CREATE TABLE tb(id char(8))

    -- 创建用于自动过滤重复值的唯一索引

    CREATE UNIQUE INDEX IX_tb ON tb(id)

    WITH IGNORE_DUP_KEY

    GO

    -- 测试数据插入的处理时间, 记录开始处理的时间点

    DECLARE @dt datetime

    SET @dt = GETDATE()

    -- 插入随机数据

    SET NOCOUNT ON

    DECLARE @row int

    SET @row = 1000000  -- 设置总记录数

    WHILE @row >0

    BEGIN

        -- 显示提示信息, 表示还需要插入多行数据

        RAISERROR('need %d rows', 10, 1, @row) WITH NOWAIT

        -- 插入随机的位编码数据

        SET ROWCOUNT @row

        INSERT tb SELECT

            id = RIGHT(100000000 + CONVERT(bigint, ABS(CHECKSUM(NEWID()))), 8)

        FROM syscolumns c1, syscolumns c2

        SET @row = @row - @@ROWCOUNT

    END

    -- 显示插入数据使用的时间

    SELECT BeginDate = @dt, EndDate = GETDATE(),

        Second = DATEDIFF(Second, @dt, GETDATE()),

    GO

    -- 显示最终的结果记录是否正确

    SELECT COUNT(*) FROM tb

    GO

    -- 删除测试

    DROP TABLE tb

    解决中用到的技巧:

    1.    控制产生的数据不重复,直接使用唯一索引中的 IGNORE_DUP_KEY 选项,使插入数据中的重复值自动过滤,避免手工处理重复

    2.    使用 CHECKSUM 配合 NEWID() 函数,使生成的数据尽量随机,一般生成随机数会考虑使用 RAND() 函数,但这个函数是产生伪随机值,用下面的语句测试一下,会发现产生的数据全部是一样的,这不适用于想批量生成多个随机数,而NEWID() 函数生成的是GUID,基本上不会有重复的,再通过CHECKSUM将其转化成数字,这样产生重复的可能性会比较小

    SELECT TOP 10

        RAND()

    FROM sysobjects

    3.    在效率控制,使用循环+批量生成的方式,而不是传统的逐个生成。在SQL Server中,每个插入语句都会有一个内部的事务处理,如果逐条插入,则事务的开销太大,效率势必非常低;不考虑一次性生成100万数据,一则因为生成的数据可能有重复的,去掉重复就没有100万了,二则一次性生成100万数据,消耗的内存和CPU资源也很高,一般的电脑可能承受不住

  • 相关阅读:
    Optimization Landscape and Expressivity of DeepCNNs
    Requests从入门到进阶
    互联网架构师学习笔记整理
    使用Psutil监控系统资源
    Mac平台AirtestIDE adb 连接不上Genmotion Android9虚拟机的问题
    Mac版PyCharm,WebStrom闪退的处理办法 LSOpenURLsWithRole() failed with error -10810 for the file /Applications/Web
    Django Admin Cookbook-42如何在Django Admin后台控制台中设置应用程序和模型的顺序
    Django Admin Cookbook-41如何将数据库视图添加到Django Admin后台
    Django Admin Cookbook-40如何为Django Admin覆盖保存操作
    Django Admin Cookbook-39如何两次向Django管理员添加模型
  • 原文地址:https://www.cnblogs.com/eebb/p/820455.html
Copyright © 2011-2022 走看看