zoukankan      html  css  js  c++  java
  • float数据类型研究,发现其能显示的有效数字极为有限

    

    1. 范围
      float和double的范围是由指数的位数来决定的。
      float的指数位有8位,而double的指数位有11位,分布如下:
      float:
      1bit(符号位) 8bits(指数位) 23bits(尾数位)
      double:
      1bit(符号位) 11bits(指数位) 52bits(尾数位)
      于是,float的指数范围为-127~+128,而double的指数范围为-1023~+1024,并且指数位是按补码的形式来划分的。
      其中负指数决定了浮点数所能表达的绝对值最小的非零数;而正指数决定了浮点数所能表达的绝对值最大的数,也即决定了浮点数的取值范围。
      float的范围为-2^128 ~ +2^128,也即-3.40E+38 ~ +3.40E+38;double的范围为-2^1024 ~ +2^1024,也即-1.79E+308 ~ +1.79E+308。

    2.  精度
      float和double的精度是由尾数的位数来决定的。浮点数在内存中是按科学计数法来存储的,其整数部分始终是一个隐含着的“1”,由于它是不变的,故不能对精度造成影响。
      float:2^23 = 8388608,一共七位,这意味着最多能有7位有效数字,但绝对能保证的为6位,也即float的精度为6~7位有效数字;
      double:2^52 = 4503599627370496,一共16位,同理,double的精度为15~16位。

    博主测试:

    public class TestFloat : MonoBehaviour {
    
    	public float f = 0f;
    	public double f2 = 0f;
    
    	// Use this for initialization
    	void Start () {
    
    		f = 123456700.987654321f;//89换成00则不会进行四舍五入
    		f2 = 123456789.987654321d;//如果是f就成单精度的了
    
    		Debug.Log (f);
    
    		Debug.Log (f2);
    	}
    

    输出

    1.234567E+08  

    *1.234568E+08(四舍五入)

    小数部分全部丢失

    123456789.987654

    小数部分丢失了一些

  • 相关阅读:
    JAVA_Collection容器
    ArrayList实现分组功能
    scrapy 安装出错 [err2] no such file or directory: 'README.rst'【已解决】
    python spyder 今天突然打不开了【已解决】
    SVN使用教程总结
    MVC框架浅析(基于PHP)
    Web性能优化方案
    野生程序员的故事
    js控制页面跳转,清缓存,强制刷新页面
    js中json处理总结之JSON.parse
  • 原文地址:https://www.cnblogs.com/jiahuafu/p/7902602.html
Copyright © 2011-2022 走看看