floating-point-precision

2熱度

2回答

如何計算浮點數的小數位數？

我想檢查一下float32是否有兩位小數。我的JavaScript方式做到這一點看起來像： step := 0.01 value := 9.99 if int(value/step) % 1 == 0 { printf("has two decimal places!") } 上面的例子也適用。但是，如果步驟不正確，則無法正常工作，因爲無法從float64轉換爲int。 例子

casting go floating-point-precision 2014-07-20

---

7熱度

1回答

。使用{0：g}刪除尾隨零時，.format（）返回ValueError

我試圖生成一個字符串，其中涉及偶爾浮動與尾隨零。這是文本字符串的MWE和我在同{0:g}消除他們嘗試： xn, cod = 'r', 'abc' ccl = [546.3500, 6785.35416] ect = [12.350, 13.643241] text = '${}_{{t}} = {0:g} \pm {0:g}\;{}$'.format(xn, ccl[0], ect[0],

python string formatting floating-point-precision 2014-09-10

---

2熱度

2回答

Java程序將整數的倒數加起來最多爲n

我試圖做到這一點，但我每次運行它時都會收到1.0的答案。我無法找出有什麼不對，請幫助我。下面是代碼： import java.util.Scanner; public class Number23 { public static void main(String[] args) { Scanner input = new Scanner(System.in); int n

java for-loop floating-point-precision 2014-09-21

---

1熱度

1回答

高精度數值計算

我想探索我的算法（使用標準雙精度算法）的一些不同實現的數值精度。不幸的是，在許多情況下，我不知道封閉格式中的正確結果，所以我需要找到一種方法來使用一些非常高精度的計算來計算基準結果。 這是一個有趣的項目，所以我的約束是：沒有預算的工具，最好是Linux平臺。我知道Mathematica提供自動錯誤跟蹤和任意精度算術，但我沒有許可證。執行速度不是問題，因爲這些高精度計算僅用於計算基準。 編碼這些高精

floating-point numeric numerical-methods floating-point-precision 2014-09-25

---

2熱度

2回答

當浮動精度問題出現時，您如何能夠實際解決凸包問題？

假設曲線上有100000個點y = x^2。你想找到這些點的凸包。所有的座標都是浮點數。 在我的格雷厄姆掃描實現中，我操作浮點數的唯一地方是當我最初按座標對所有點進行排序，然後我有一個函數確定三點是左轉還是右轉。 點： struct point { double x; double y; }; 排序比較： inline bool operator() (const poi

c++ floating-point floating-accuracy floating-point-precision convex-hull 2014-09-30

---

4熱度

3回答

處理大量數據時中點「四捨五入」？

所以我試圖理解JavaScript在處理大量數據時的行爲。考慮以下（在Firefox和Chrome測試）： console.log(9007199254740993) // 9007199254740992 console.log(9007199254740994) // 9007199254740994 console.log(9007199254740995) // 90071992547

javascript floating-point floating-point-precision floating-point-conversion 2014-06-24

---

0熱度

2回答

測試相似性不會檢索預期的布爾值？

測試兩組十進制數（位於this link上的pt1和pt2的x座標和y座標）之間的相似性。我沒有得到布爾值的期望值（15,682）。難道這是一個decimal to binary conversion問題？改變門檻並不總是有幫助，特別是有更多的數字。任何幫助將不勝感激！ x是雙打的排序列表 for i = 1 to x.count-1 if Math.Abs(x(i)-x(i-1))<myThr

vb.net floating-point similarity floating-point-precision grasshopper 2014-07-07

---

0熱度

1回答

調度事件時的時間是一個浮點值

下面的例子突出了一個陷阱相對於使用浮點數： available_again = 0 for i in range(0,15): time = 0.1*i if time < available_again: print("failed to schedule at " + str(time)) available_again = time + 0.1

python floating-point scheduling floating-accuracy floating-point-precision 2014-08-28

---

0熱度

1回答

以編程方式指定字符串格式化float的小數精度

如何以編程方式指定字符串格式化float的小數精度？ 具體來說，我想實現以下行爲： >>> print displayNumber(number=math.pi, precision=3) 3.142

python formatting floating-point-precision 2014-09-01

---

4熱度

3回答

在C++中進行數學運算時，浮點錯誤是如何傳播的？

比方說，我們已經聲明瞭以下變量 float a = 1.2291; float b = 3.99; float變量具有精度6，這（如果我理解正確）表示數之間的差異，計算機實際存儲並且你想要的實際數量將小於10^-6 這意味着a和b都有一些誤差小於10^-6 所以電腦a裏面實際上可能1.229100000012123和b可能是3.9900000191919 現在讓我們假設你有下面的代碼 float

c++ c floating-point floating-accuracy floating-point-precision 2014-09-06

---