rounding-error

11熱度

1回答

C＃舍入MidpointRounding.ToEven vs MidpointRounding.AwayFromZero

在C＃中，精確度有兩個小數舍入策略MidpointRounding.ToEven和MidpointRounding.AwayFromZero？我的意思是確保均衡分佈的數字是四捨五入的，或者是一個舍入策略來代表舍入的數字與另一個比較？

0熱度

5回答

我有方法，它有2個整數作爲參數並返回： public int method(int a, int b){ return Math.round((Math.abs(a-b)/3) - (Math.min(a,b)-1500)/10) } 我已經創建單元測試，這通過爲值1400和1500（預期值是43），但是它沒有爲1459年和1500年。預期的輸出是18，但我的方法返回17. 我相信

0熱度

1回答

減少浮點數（舍入）錯誤的影響

我們正在實施一些幾何算法，但發現浮點數計算誤差的影響很大。是否有任何指導方針來減少這種影響？該算法包含很多部分，非常複雜。其中一個例子是計算直線和樣條曲線（貝塞爾曲線連續曲線）之間的相交點。當靠近貝塞爾終點的線位置時，結果不穩定。感謝

5熱度

4回答

無法通過c＃代碼插入到sql服務器表的十進制

我無法將十進制值插入到Sql Server表中。我想要做的是通過這些代碼行自我解釋： long fileSizeInBytes = ComponentUploadControl.FileContent.Length; Decimal fileSizeInMB = Convert.ToDecimal(fileSizeInBytes)/(1024.0m * 1024.0m); Decimal f

3熱度

2回答

有沒有辦法在Javascript中截斷科學記數法數字？

大家都知道，因爲它是SO最關心的問題之一，所以我遇到了舍入錯誤的問題（這實際上不是錯誤，我很清楚）。而是說明我的觀點，我會給出我有什麼可能的數字爲例，其輸入我希望能夠獲得：比方說 var a = 15 * 1e-9; alert(a) 輸出 1.5000000000000002e-8 我希望能夠取得1.5e-8，但我不能只乘以10e8，舍入10e8，因爲我不知道它是否是e-8或e-4

0熱度

2回答

錯誤的BigDecimal計算

考慮以下規格： require 'bigdecimal' def total_percent(amounts) percent_changes = amounts.each_cons(2).map { |a| (a[1] - a[0])/a[0] * BigDecimal.new('100.0') } (percent_changes.map { |pc

0熱度

4回答

舍入誤差在C++

可能重複： Why can't decimal numbers be represented exactly in binary? 語言C++ 我聲明數組和我保存號（類型雙）在它。然後我開始比較數組中每個兩個元素之間的差異。例如 a[1] = 0.05 a[2] = 0.1 a[3] = 0.15 所以當i執行以下 if(a[3] - a[2] == a[2] - a[1]) 條件

0熱度

3回答

Ruby Float Round錯誤錯誤？

我正在以下舍入誤差當我試圖單元測試下面的類： class TypeTotal attr_reader :cr_amount, :dr_amount, :cr_count, :dr_count def initialize() @cr_amount=Float(0); @dr_amount=Float(0) @cr_count=0;

3熱度

1回答

函數的R＆C版本給出了不同的結果 - 舍入或操作員錯誤？

我有一塊R代碼，我用C重寫了，兩個版本提供了不同的結果。我的看法是，這是由於R級的舍入問題，即正在執行多個數學運算，這會產生複雜的舍入問題，而不是整個事情在C中完成，而舍入只發生一次。我擔心我在這裏過於樂觀，希望能有更多的眼睛來看看我是否錯過了一些東西，而實際上這只是糟糕的編碼而已。首先將R代碼： h_tx <- function(x, sigma_nu, sigma_eta, alpha=0)

2熱度

3回答

防止R舍入

如何防止R舍入？例如， > a<-893893084082902 > a [1] 8.93893e+14 我失去了很多資料在那裏。我嘗試過signif（），它似乎沒有做我想要的。在此先感謝！（這想出了爲礦山試圖確定它需要多長時間以每秒數數到一萬億學生的結果）