decimal

2熱度

5回答

我正在閱讀Charles Petzold的書「代碼」。他在文中解釋瞭如何使用以下模板的十進制數轉換成二進制轉換： [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] ÷128 ÷64 ÷32 ÷16 ÷8 ÷4 ÷2 ÷1 [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] 在這本書中，他對如何使用該模板的解釋如下：「把整個十進制

27熱度

6回答

將十六進制轉換爲浮點數

如何將以下十六進制字符串轉換爲Python中的浮點數（單精度32位）？ "41973333" -> 1.88999996185302734375E1 "41995C29" -> 1.91700000762939453125E1 "470FC614" -> 3.6806078125E4

13熱度

7回答

PHP浮點運算2小數點

有了另一個數學計算問題。 $a = 34.56 $b = 34.55 $a做一些計算得到這個數字 $b是做四捨五入最接近的0.05得到這個數字發生什麼事是 $c = $b - $a 按說我應該是-0.01，但我回聲出$c是顯示-0.00988888888888 我嘗試使用正umber_format($c, 2)，但輸出爲0.00，我怎麼能保證$a和$b正好是2位小數，在後面沒有隱藏

0熱度

5回答

ASP.NET/C#十進制到0.00

我得到了這個方法，我怎樣才能讓小數點爲.00而不是.0000？ public static List<Product> GetAllProducts() { List<Product> products = new List<Product>(); string sqlQuery = "SELECT * FROM Products"; using (SqlConne

2熱度

5回答

如何比較兩位小數到小數點後10位？

我使用十進制類型（.net），我想看看兩個數字是否相等。但我只想精確到小數點後10位。例如，拿這三個數字。我希望他們都是平等的。 0.1123456789 0.11234567891 0.11234567899 的10進制數限制是從我的數據庫來了，所以我必須假設，第一個數字已經四捨五入，因此，我不能簡單地圓別人，因爲最後一個會總結。我真的只想截斷到10位小數，但看不到如何做到這一點。

1熱度

2回答

將表示從小數轉換爲浮點數 - 陷阱

我正在研究財務應用程序中的某些功能。所有數字在代碼和數據庫中均以小數表示，不會出現舍入誤差。但是，我遇到了一些性能問題，我正在考慮在自己的計算中切換到浮點數（浮點數/雙精度數）。這是基於四捨五入錯誤不是問題（我將不得不與客戶覈對）的假設。但是，如果我進行此轉換，我想知道有哪些Pitfals。是否有一種表達式在使用浮點數進行計算時可能與使用小數計算的同一表達式有顯着不同？

12熱度

5回答

C＃：檢查存儲在字符串對象內的值是否是十進制的

在C＃中，我如何檢查存儲在一個字符串對象（例如：字符串strOrderId =「435242A」）是否是十進制的值？

6熱度

2回答

十六進制0x0001與0x00000001

通常在使用權限檢查的代碼中，我看到有些人使用十六進制0x0001，而其他人使用0x00000001。如果我沒有弄錯的話，這兩個看起來都像一個小數點1的等價物。爲什麼使用一個比另一個，只是一個偏好問題？

1熱度

2回答

如何從perl中的十進制表示關閉浮點表示1？

我在一些「humanize_bytes（）」代碼中遇到了一個有趣的問題。這個循環代表沒有所有其他邏輯的問題。當字節被截斷爲「可讀性」級別時，循環需要停止。它繼續迭代，直到最終值小於1024（或可指定的字節大小）。我開始研究這個問題，當函數輸出「1024.0 P」爲1024PB。起初我以爲我不小心使用了< = vs <，但經過進一步檢查，我發現更有趣的事情發生了。此代碼重現了此問題。我使用的是p

0熱度

1回答

SQL小數問題

我有以下格式的輸入字符串：12.34 當我把這個行： db.AddInParameter(insertMessageDetailCommand, "AttachmentSize", System.Data.SqlDbType.Decimal , Convert.ToDecimal(this.messageEnvelope.EnvelopeInfo.AttachmentSize)); 我得到一個