mysql数据对比工具
导读:笔者最近在采用 trino 代替旧有方案进行媒体接口数据拉取。需通过将 trino 拉取的数据入到测试库,并与旧方案拉取到生产库中的数据进行对比从而验证逻辑准确性。在进行数据对比时为提高效率因此...
2024.11.15之前有同学问过这样一个问题:
echo|awk ‘{print 3.99 -1.19 -2.80}‘
4.44089e-16
类似的问题还有在 java 或者 javascript 中:
23.53 + 5.88 + 17.64 = 47.05
23.53 + 17.64 + 5.88 = 47.050000000000004
为什么结果不是 0 或者不相等呢?
如果你不能立马回答出原因,那说明你对浮点数计算的基本知识还不了解。
刚好最近 segmentfault.com 上也有同学问了同样的一个问题,现在整理下,以备忘。
2、浮点数的概念:浮点数是属于有理数中某特定子集的数的数字表示,在计算机中用以近似表示任意某个实数。具体的说,这个实数由一个整数或定点数(即尾数)乘以某个基数(计算机中通常是2)的整数次幂得到,这种表示方法类似于基数为10的科学记数法。
浮点计算是指浮点数参与的运算,这种运算通常伴随着因为无法精确表示而进行的近似或舍入。
3、十进制到二进制的转化问题:为了更好的理解,先来看一下10进制的纯小数是怎么表示的,假设有纯小数D,它小数点后的每一位数字按顺序形成一个数列:
{k1,k2,k3,...,kn}
那么D又可以这样表示:
D = k1 / (10 ^ 1 ) + k2 / (10 ^ 2 ) + k3 / (10 ^ 3 ) + ... + kn / (10 ^ n )
推广到二进制中,纯小数的表示法即为:
D = b1 / (2 ^ 1 ) + b2 / (2 ^ 2 ) + b3 / (2 ^ 3 ) + ... + bn / (2 ^ n )
现在问题就是怎样求得b1,b2,b3,……,bn。算法描述起来比较复杂,还是用数字来说话吧。声明一下,1 / ( 2 ^ n )这个数比较特殊,我称之为位阶值。
例如0.456,第1位,0.456小于位阶值0.5故为0;第2位,0.456大于位阶值0.25,该位为1,并将0.456减去0.25得0.206进下一位;第3位,0.206大于位阶值0.125,该位为1,并将0.206减去0.125得0.081进下一位;第4位,0.081大于0.0625,为1,并将0.081减去0.0625得0.0185进下一位;第5位0.0185小于0.03125……
最后把计算得到的足够多的1和0按位顺序组合起来,就得到了一个比较精确的用二进制表示的纯小数了,同时精度问题也就由此产生,许多数都是无法在有限的n内完全精确的表示出来的,我们只能利用更大的n值来更精确的表示这个数,这就是为什么在许多领域,程序员都更喜欢用double而不是float。
4、解释:对于开头的问题,我们再举几个例子(以下的例子采用 python 做示范):
>>> 0.125
0.12500000000000000
>>> 0.1
0.10000000000000001
>>> 0.6 + 0.1
0.69999999999999996
纳尼?什么会这样?
0.125,也就是 1/8,的二进制,是 0.001,可以在 10 进制和 2 进制中轻松表达。
但 0.1 就是一个经典的头疼数字了,它的二进制,是 0.00011001100110011001100110011001...,一个无限循环小数。由于计算机中使用的浮点数是基于有限精度的二进制数,因此,不可能绝对准确。这一现象往往在打印浮点数时才被注意到。
浮点数的二进制表示,一般采用 IEEE 754 标准。标准规定:单精度格式具有 24 位有效数字,共 32 位。双精度格式具有 53 位有效数字精度,共 64 位。
但是,如今的解释器和 print 函数都足够聪明,会在打印浮点数的时候自动舍入,但是又有一些浮点数由于误差过大,又不能舍入。
因此造成了“有些浮点数计算是对的,有些是错的”的现象。事实上,所有的浮点数运算都是“错”的。也就是你问题的答案。同时,这可能会成为调试程序的烟幕弹:“哎?print 出来就是 0.1,为什么计算的时候会出现问题?”
例如,新版本的 Python 默认对所有的浮点数进行自动舍入。因此无法重现我在文首的例子。这时,可以使用
>>> print("%.17lf" % (0.6 + 0.1))
0.69999999999999996
同理,浮点数之间用 >, 9.99999999999998046
print(x) #=> 99.1,print 自动舍入,得到了看似正确的结果
在一般计算中,处理二进制浮点数需要用到很多技巧和技术。但在财务等运算中,必须要求完全精确的结果,这时候,需要模拟 10 进制的浮点数。如 Python 中提供了 Decimal 模块,允许使用者传入浮点数的字符串进行模拟计算,避免精度问题。
from decimal import Decimal
x = Decimal("0.0") # 注意:传入字符串。如果传入浮点数,那么在计算之前精度就损失掉了
for i in range(100):
x += Decimal("0.1")
print("%.17lf" % x) #=> 10.00000000000000000
print(x) #=> 10.0
关于 IEEE 浮点数,浮点数的大小比较等具体算法和细节,可以观看网易上麻省理工学院的这一集课程:http://v.163.com/movie/2010/6/4/1/M6TCSIN1U_M6TCT0L41.html ,可以从 05:39 处开始观看。
5、结论这就是为什么交易系统的价格,金钱都不会使用float,double,包括数据库的存储。例如:mysql 可以用 decimal ,如果你是用 java, 在商业计算中我们要用 java.math.BigDecimal,注意:如果需要精确计算,非要用String来够造BigDecimal不可!或者 sprintf 进行精度舍入。另外有些语言专门提供了处理金融数据的类型。
6、REFER:
1、http://zh.wikipedia.org/zh-cn/IEEE_754
2、http://baike.baidu.com/view/339796.htm
3、http://www.ruanyifeng.com/blog/2010/06/ieee_floating-point_representation.html
4、http://segmentfault.com/q/1010000000267988
5、http://www.laruence.com/2013/03/26/2884.html PHP浮点数的一个常见问题的解答
导读:笔者最近在采用 trino 代替旧有方案进行媒体接口数据拉取。需通过将 trino 拉取的数据入到测试库,并与旧方案拉取到生产库中的数据进行对比从而验证逻辑准确性。在进行数据对比时为提高效率因此...
2024.11.15日期时间类型 占用空间 日期格式 最小值 最大值 零值表示 DATETIME 8 bytes YYYY-MM-DD HH:MM:SS 1000-01-01 00:00:00 9999-12-31 2...
2024.11.12不要盲目的说float和double精度可能发生丢失,而是说在存取时因为精度不一致会发生丢失,当然这里的丢失指的是扩展或者截断了,丢失了原有的精度。decimal是好,但不是说不会发生任何精度丢失。如...
2024.11.14go 原生提供了对数据库的支持,就是 database/sql 包,对关系型的数据库进行了通用的抽象,轻量、面向行的接口,所以使用这个包还需要下载对相应的数据库驱动,比如 mysql 的驱动包 git...
2024.11.13日期操作返回月:select MONTH("2022-04-20 22:39:34")返回日:select DAY("2022-04-20 22:39:34")返回年:select YEAR("202...
2024.11.11