2011/3/28 Mon

.NETのfloatは有効桁数７桁？

Filed under: プログラム — nico @ 20:52:19

C#なのかもしれませんが、.NETのfloatは単精度浮動小数型として保持できる値であろうと、有効桁数７桁までしか扱えないっつーか、勝手にまるめ処理が入る模様。
(more…)

Link Free. Copyright (C) 2005-2007 nico. All rights reserved.
HTML convert time: 0.456 sec. Powered by WordPress ME