rounding-error

-6熱度

2回答

當我將數據存儲在變量/列中時，數據精度有問題。請看下面的例子 DECLARE @w NUMERIC(38, 15) = 0.458441, @a NUMERIC(38, 15) = 10.000000, @p NUMERIC(38, 15) = 5.000000 select (1+0.458441)*(1+ 10.000000/100)*(1+ 5.000000/1

-1熱度

4回答

當我想從表中讀取特定批量大小時，如何在sql中進行取整

當我想從表格中取整時，如何取整在sql中。所以如果需要的是51但我的很多是50我想要它回來100.

0熱度

1回答

Java的算術編碼 - 查找字符範圍

我試圖重新建立一個Java實現的算術在這個環節中描述編碼的下部分「算術編碼：它是如何工作」：link 我點在哪裏各個符號需要沿着概率線分配一個範圍。但是，我在創建正確的範圍時遇到了一些問題。在我的代碼如下所示，這是由setRanges（）執行的。預期的結果應該是這樣的： Character Ranges - 0.0 - 0.09999999999999999 A 0.1 -

2熱度

3回答

十進制不正確舍入

我有一個小數叫'總和'，它的值是5824088.999120m，但是當我嘗試將它舍入到3位小數時，我得到5824088.998m而不是5824088.999m。它遞減而不是離開5824088.999m。爲什麼？這裏是我的代碼： List<decimal> quantityList = QuantityList(); List<decimal> priceList = PriceList();

1熱度

4回答

浮點分辨率似乎比它應該是更有限

簡單地分配一個浮點值，只包含4個有效數字時，我看到一些錯誤。我寫了一個簡短的程序來調試，我不明白問題是什麼。在驗證我的平臺上的浮點數限制後，似乎應該不會有任何錯誤。這是什麼造成的？ #include <stdlib.h> #include <stdio.h> #include <limits> #include <iostream> int main(){ printf("f

0熱度

2回答

舍入誤差 - >串 - >陣列轉換

我試圖在4列，以創建由水平串聯數據的數組，像這樣： col1=numpy.arange(191.25,196.275,.001)[:, numpy.newaxis] nrows=col1.shape[0] col2=numpy.zeros((nrows,1),dtype=numpy.int) col3=numpy.zeros((nrows,1),dtype=numpy.int) col4

-4熱度

1回答

在Swift中看到舍入誤差（例如0.22999999而不是0.23）2.2

我是swift新手（使用swift 2.2），我看到200.23 - 200顯示等於0.2299999999999898的問題。我知道計算機不能準確表示無理數，但我不明白爲什麼理性數也沒有被正確表示。這影響了我的程序生成的輸出數字，導致出現問題。這裏是展示此行爲的示例操場代碼（的我實際的代碼部分非常簡單的版本）：我定義一個數字，然後提取它的完整和部分零件 var number:Double =

1熱度

1回答

舍入代碼中的加倍錯誤

在我的腳本中存在一個問題，它在舍入代碼中翻倍並且找不到錯誤。我似乎無法找到問題產生的來源。對於任何反饋，我們都表示感謝。 def research_rounding(first_time): first_time = float(first_time) if first_time == 0: #If time is 0, return 0 result_t

0熱度

2回答

試圖使用Math.floor來舍入數字，但它並沒有在正確的位置將它們切掉

我想用Math.floor將商數倒圓角到1,2和3的地方，但它不會削減數字關閉在正確的地方 Scanner input = new Scanner(System.in); double x; double y; System.out.println("Enter 2 values seperated by a space, x and y to enter int

3熱度

1回答

如何比較實體框架中的日期以避免舍入錯誤？

我有一個.NET DateTime值，我寫入SQL Server數據庫「日期時間」字段（並相信我，我希望我們只是使用「datetime2（7）」完全匹配.NET的DateTime精度，但我們不）。無論如何，我將實體寫入數據庫，該特定字段最終爲'2016-03-03 08：55：19.560'。這是最後一次處理時間，我正在尋找當時在之前處理過的其他記錄。當我運行一個實體框架where子句時，它最