代码之家 › 专栏 › 技术社区 › Andy

Ruby数学运算的精度问题

precision rounding math ruby

Andy · 技术社区 · 14 年前

你知道如何用数学精度来解决以下问题吗?

p RUBY_VERSION # => "1.9.1"
p 0.1%1 # => 0.1
p 1.1%1 # => 0.1
p 90.0%1 # => 0.0
p 90.1%1 # => 0.0999999999999943
p 900.1%1 # => 0.100000000000023

p RUBY_VERSION # => "1.9.2"
p 0.1%1 # => 0.1
p 1.1%1 # => 0.10000000000000009
p 90.0%1 # => 0.0
p 90.1%1 # => 0.09999999999999432
p 900.1%1 # => 0.10000000000002274

3 回复 | 直到 14 年前

mikej heading_to_tahiti 14 年前

man

BigDecimal

>> x = BigDecimal.new('900.1')
=> #<BigDecimal:101113be8,'0.9001E3',8(8)>
>> x % 1
=> #<BigDecimal:10110b498,'0.1E0',4(16)>
>> y = x % 1
=> #<BigDecimal:101104760,'0.1E0',4(16)>
>> y.to_s
=> "0.1E0"
>> y.to_f
=> 0.1

duffymo 14 年前

What Every Computer Scientist Should Know About Floating Point Arithmetic

xtofl Adam Rosenfield 14 年前

0.1 Decimal type

推荐文章

Denis · 双精度C++,308位数字或15位数字?

2 年前

nellapizza · python楼层划分操作符是如何实现的?

6 年前

Evan Carroll · GCC如何在x86\u 64上编译80位宽的10字节浮点\uu float80?

6 年前

comte · 如何在SQL数据库中存储python浮点

6 年前

user2255757 · 如何正确分配cuda半精度阵列?

6 年前

00__00__00 · 如何检查float pandas列是否只包含整数?

6 年前

Hari · 除以2后的结果与乘以0.5后的结果之差

6 年前

bhushan23 · 在Matlab中,为什么整个矩阵的L2范数的平方和行/列L2范数的平方和不匹配?

6 年前

gansub · Newton Raphson迭代-无法迭代

6 年前

Alex · 任意精度的numpy数组(10位int)

6 年前