zoukankan      html  css  js  c++  java
  • oracle 的float(b)精确度计算方法

     oracle 的float(b)精确度计算方法 收藏
    把字段类型设计成float(2)后,插入数据93.5后,为什么变成了90?

    为了说明这个问题,我们先来看一段话(http://www.cnoug.org/viewthread.php?tid=56643):Oracle Online Help 说:FLOAT(b) specifies a floating-point number with binary precision b. The precision b can range from 1 to 126. To convert from binary to decimal precision, multiply b by 0.30103。

    根据这段话,我们可以看到,float(2)中的2是一个binary precision,而不是我们常用的decimal precision。他们之间的换算关系是:binary precision=int(b*0.30103),因此我们这里实际上的精度应该等于int(2*0.30103)=0,即小数点后精度为0。

    回到我们原来的问题,93.5化成浮点型9.35*10^1,这时9.35小数点后精度为0,成9,因此最后变成9*10^1=90。

    类似的,我们可以设计成float(10),那么int(10*0.30103)=3,因此,如果插入93.5,就得出9.35--精度为3--& gt;9.350,9.350*10^1=93.5。如果插入13884.2,得出1.38842--精度为3--> 1.388,1.388*10^4=13880。

    我们可以从以下测试更加清楚的看到这样的换算规则。

    Connected to Oracle9i Enterprise Edition Release 9.0.1.1.1
    Connected as aspire

    SQL>
    SQL> CREATE TABLE hjm_float_test
    2 (a FLOAT(2),
    3 b FLOAT(10),
    4 c FLOAT,
    5 d NUMBER);

    Table created

    SQL> INSERT INTO hjm_float_test(a,b,c,d) VALUES(93.5,93.5,93.5,93.5);

    1 row inserted

    SQL> INSERT INTO hjm_float_test(a,b,c,d) VALUES(93.665,93.665,93.665,93.665);

    1 row inserted

    SQL> INSERT INTO hjm_float_test(a,b,c,d) VALUES(96.5,96.5,96.5,96.5);

    1 row inserted

    SQL> INSERT INTO hjm_float_test(a,b,c,d) VALUES(13884.2,13884.2,13884.2,13884.2);

    1 row inserted

    SQL> COMMIT;

    Commit complete

    SQL> SELECT * FROM hjm_float_test;

    A B C D
    ---- ------------ -------------------------------------------------------------------------------- ----------
    90 93.5 93.5 93.5
    90 93.67 93.665 93.665
    100 96.5 96.5 96.5
    1000 13880 13884.2 13884.2

    SQL> desc hjm_float_test;
    Name Type Nullable Default Comments
    ---- ------ -------- ------- --------
    A FLOAT Y
    B FLOAT Y
    C FLOAT Y
    D NUMBER Y

    SQL>

    请特别注意的是,虽然我在设计表的时候设计成了float(2)、float(10),但是当我在desc表(代码最后7列)的时候却是看不到这样的设计结构的,这样的问题需要尤其引起注意!!

    最后,让我们回顾一下,记住float(b)中的b是二进制的精度,他的换算规则是binary precision=int(b*0.30103


    本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/yzj_000/archive/2008/09/22/2962092.aspx

  • 相关阅读:
    真理
    使用C#调用QC的接口
    如何让asp.net应用程序定时自动执行代码
    对话
    科学●哲学●艺术●恶搞
    避免asp.net程序session过期的一个另类方法
    醉翁之意不在酒
    测试团队的新兴职位:测试设计师
    1和0的世界
    名词解释:高阻态,上拉电阻
  • 原文地址:https://www.cnblogs.com/linsond/p/1962376.html
Copyright © 2011-2022 走看看