日期:2014-05-20  浏览次数:20926 次

诡异的decimal呀!!!---都来看看,顶者有分
诡异的decimal呀!!!---都来看看

我靠越活越回旋了,decimal的精度是多少呢?我不知道,谁来告诉我下?

微软的官方参考在这里
http://msdn.microsoft.com/zh-cn/library/364x0z75.aspx





[system.decimal]::MaxValue
79228162514264337593543950335


[system.decimal]::MinValue
-79228162514264337593543950335





但结果有时候29位,有时候15位,是咋回事?
PS C:\Windows\system32\WindowsPowerShell\v1.0> [decimal]$(1111111111111111111111117/3)
370370370370370370370372.33333

PS C:\Windows\system32\WindowsPowerShell\v1.0> [decimal]$(1/3)
0.333333333333333


我只想要29位的decimal,但是这样赋值
[decimal]$aaaa = 370370370370370370370372.33333
结果却成了
370370370370370000000000
------解决方案--------------------
decimal的精度没有错,以微软官方为准。至于你的问题,主要原因是字面量被当作double来处理了,导致精度下降。
------解决方案--------------------
powershell不知道,C#需要加上m后缀,否则被视作double。
------解决方案--------------------
引用:
powershell不知道,C#需要加上m后缀,否则被视作double。

正解