precision

7熱度

4回答

我收到的一項最近的家庭作業要求我們採取措辭，在計算機上執行時可能會造成精度損失，並對其進行修改，以避免造成損失。不幸的是，這樣做的方向尚未明確。通過觀察正在執行的各種示例，我知道有一些方法可以做到這一點：使用泰勒級數，如果涉及平方根使用共軛，或者在減去兩個分數時找到共同的分母。但是，我在準確發現精確度丟失時會發生一些麻煩。到目前爲止，我唯一知道的是，當你減去接近於相同的兩個數字時，由於高位數字

9熱度

3回答

SQL服務器：計算與數字文字

我做了一些測試與浮點計算，以儘量減少精度損失。我偶然發現了一個我想在這裏展示的現象，並希望得到一個解釋。當我寫 print 1.0/(1.0/60.0) 結果是 60.0024000960 當我寫相同的公式，並做明確的鑄造float print cast(1.0 as float)/(cast(1.0 as float)/cast(60.0 as float)) 結果是 60 到

7熱度

3回答

有什麼辦法可以在Python中得到一個小數部分的重複小數部分？

我正在使用Python的十進制模塊使用分數，我想只得到某個分數的重複部分。例如：如果我有1/3我想得到3，如果我有1/7我想得到142857.是否有任何標準函數來做到這一點？

57熱度

7回答

調整小數精度，.NET

在C＃中這些線 decimal a = 2m; decimal b = 2.0m; decimal c = 2.00000000m; decimal d = 2.000000000000000000000000000m; Console.WriteLine(a); Console.WriteLine(b); Console.WriteLine(c); Console.WriteLi

1熱度

3回答

十進制格式不捨入.net

昨天我詢問this general question關於小數及其內部精度。這是關於我試圖解決的場景的一個具體問題。我有SqlServer中鍵入的列 - 小數（18,6）。當我獲取這些值時，創建的.net小數與數據庫中的精度匹配。他們是這樣的： 1.100000 0.960000 0.939000 0.844400 0.912340 我需要根據這些規則來呈現（的ToString）這些

5熱度

3回答

浮點限制

我的代碼： a = '2.3' 我想顯示a作爲浮點值。由於a是一個字符串，我想： float(a) 我得到的結果是： 2.2999999999999998 我想對於這個問題的解決方案。請，請幫助我。我是this tutorial。

3熱度

4回答

在畫布上的MouseLeftButtonDown需要太多精度

我對添加到WPF畫布的元素上的MouseLeftButtonDown事件做出響應。單擊時它可以正常工作（即事件處理程序正確觸發），但它需要鼠標指針的精確度。你必須在圓圈的頂部才能完成工作。我需要它更寬容一點;也許至少有1或2個像素寬容。畫布上的元素是漂亮的大圓圈（大約是屏幕四分之一的大小），所以圓圈本身不是太小，但每個的StrokeWidth都是1，所以它是細線。您可以在這裏看到的截圖：http

16熱度

6回答

T-SQL十進制分割精度

有誰知道爲什麼，使用SQLServer的2005 SELECT CONVERT(DECIMAL(30,15),146804871.212533)/CONVERT(DECIMAL (38,9),12499999.9999) 給我11.74438969709659，但是當我增加分母的小數位到15，我得到一個不太準確的答案： SELECT CONVERT(DECIMAL(30,15),146804

3熱度

2回答

GMP mpf_add的精度損失。我的數字在哪裏？

我總結兩個負花車： char * lhs = "-2234.6016114467412141"; char * rhs = "-4939600281397002.2812"; 據Perl中，使用BIGNUM和數學:: BigFloat，答案是 -4939600281399236.8828114467412141 然而，按GMP，使用下面的代碼，答案是 -4939600281399236.

5熱度

5回答

如何在JavaScript中編寫Number.toFixed的原型？

我需要小數四捨五入到使用JavaScript六個地方，但我需要考慮傳統的瀏覽器，所以我can't rely on Number.toFixed 的大收穫與toExponential，toFixed和toPrecision是，他們是在不支持頗具現代結構Mozilla直到Firefox 1.5版本（儘管IE從5.5版開始支持這些方法）。雖然它主要是安全使用這些方法，老的瀏覽器將打破，所以如果你正在寫我