precision

0熱度

1回答

PHP <?php echo (-9.341+2.111); 結果-7.23 的Javascript console.log(2.111-9.341) 結果-7.229999999999999 我知道浮算術的，但爲什麼香草PHP給出確切的答案和Javascript（在Google Chrome控制檯上測試過）不是？

0熱度

1回答

PHP：格式漂浮在json_encode（）給定精度功能

There was我的問題（最初並不那麼準確制定）：我需要使用PHP漂浮在JSON字符串。代碼： $obj['val'] = '6.40'; json_encode($obj); 轉換爲： {"val": "6.40"} 這是確定的 - 我在PHP字符串值 '6.40' 和我有JSON字符串值「6.40」。的情況並沒有那麼好，如果我需要使用花車： $obj['val'] = 6.4

-2熱度

1回答

爲什麼float在Python/PHP/Javascript和Java/C之間的行爲不同＃

10年後，我重新學習Java，並且編寫簡單的代碼來檢查語法並驗證簡單的行爲。我在玩數字類型，我不明白爲什麼浮動在Java（以及我後來驗證的C＃）中表現的行爲與Python（或其他腳本語言，如JavaScript或PHP）不同。的一點是，從我的知識，花車是不可靠的精度問題時，我腦子裏想的最簡單的例子之一是總和： float(0.1) + float(0.2) 不同於人們可以想到的是不是flo

1熱度

1回答

Python Cassandra浮動精度損失

我正在向Python和Cassandra發送數據。我在我的python程序中使用內建的float類型，以及我的Cassandra表的數據類型。如果我發送一個955.99從python到Cassandra，在數據庫中顯示955.989999。當我在python中發送一個查詢來返回剛纔發送的值時，現在是955.989990234375。我明白python中精度損失的問題，我只是想知道Cassandr

1熱度

3回答

NumPy在浮點運算中將精度降低到更高的精度

這在其他（也許是所有）語言中無疑是這樣，但我只用Python進行測試。我的問題是這樣的：在對兩個值進行不同精度的算術運算時，爲什麼NumPy以最高精度返回值的dtype結果？例如 import numpy as np single = np.array([[1, 2, 3], [4, 5, 6]], np.float32) double = np.array([[1, 2, 3], [4

1熱度

3回答

如何在javascript中顯示20個以上的小數點？

我正在製作一個顯示pi數字的網頁。我能夠使用toFixed方法得到我的pi變量來顯示20位pi的數字，但我想知道是否可以顯示更多。小數位數是否受我變量內存大小的限制？有沒有辦法顯示超過20位數字？編輯：我應該澄清說，我正在使用Chudnovsky Algorithmn來計算pi的值。我假設由於var變量的內存限制，它只能顯示一定數量的限制在20的數字？ Source

-2熱度

1回答

半精度多項式似乎產生錯誤結果

首先，IEEE754半精度浮點數使用16位。它使用1位符號，5位指數和10位尾數。實際值可以計算爲符號* 2 ^（指數-15）*（1 + mantisa/1024）。我試圖運行一個圖像檢測程序使用半精度。原始程序使用單精度（=浮點數）。我在http://half.sourceforge.net/中使用半精度類。使用類的一半，我至少可以運行相同的程序（通過使用一半而不是浮點數，並用g ++而不是g

0熱度

2回答

目的C--用浮點數除長而不丟失精度

我在使用浮點數分隔long類型時遇到了精度問題，並最終導致應用程序中的計算出現混亂。假設我只是將毫秒轉換爲秒，因爲這是我們結束的要求。以下是一個樣本測試用例 long startTimeMS = 2529095; NSTimeInterval expectedStartTime = 2529.095 NSTimeInterval startTime = startTimeMS/1000.f;

0熱度

1回答

在Oracle上產生的操作精度NUMBER

2個Oracle默認/由於給定的NUMBER列（其中NUMBER沒有設置（p，s）））導致運算符的值的精度是多少？如果我： create table foo(field1 NUMBER, field2 NUMBER); insert into foo (field1, field2) values (1.1, 3); select field1/field2 as f1df2 from f

1熱度

1回答

近似匹配（all.equal的模擬相同）？

考慮： (tmp1 <- seq(0, 0.2, 0.01)[16]) # [1] 0.15 (tmp2 <- seq(0, 0.2, 0.05)[4]) # [1] 0.15 和 identical(tmp1, tmp2) # [1] FALSE all.equal(tmp1, tmp2) # test for 'near' equality [1] TRUE 的根本原因是f