precision

0熱度

1回答

我知道我使用的是沒有內置到C++的功能，但是這個庫看起來很常用，我很驚訝地發現這個錯誤會彈出。對於那些不瞭解圖書館的人可以找到here。本質上，它應該允許支持16位浮點數（較低精度）。我的問題是，半數的精度似乎減少了正數。在這段代碼中，我正在生成一堆要通過OpenGl呈現到屏幕上的點。 {xs1，ys1}表示sigmoid的浮點精度計算。 {xs3，ys3}表示轉換爲浮點精度的值。 vect

0熱度

1回答

MySQL的精度只有小數

如何存儲在數據庫十進制值僅如果數字是十進制，擁有超過兩位小數像 2小數精度 10.00應存儲 10.0應存儲應存儲 10.1應存儲10.1 10.12應存儲10.12 10.123應存儲10.12 10.1234應存儲10.12 這些到目前爲止，我已經試過，沒有他們的工作 FLOAT(20,2) DOUBLE(20,2) DECIMAL(20,2) 所有這些都將簡單到10.00 我想設

-3熱度

1回答

浮點變量和雙變量數據類型之間的區別

float數據類型和double數據類型之間的區別是什麼？用一個例子解釋嗎？在最近的競爭性編程問題中，我真的很困惑這個嗎？

1熱度

1回答

字符串和int格式的浮點差異。爲什麼？

我需要nanosec的當前時間。作爲字符串"%.9f" % float_time它是1502872986.6536936 。最後你可以看到76。如果我嘗試寫的同時，INT int(float_time*10**9)，這將是15028729866536936 和96底。爲什麼？哪個是獲得納米格式的正確途徑？ from time import time float_time = time()

-2熱度

1回答

奇怪的情況下舍入到最接近的0.05 - 特例

舍入到最接近的0.05，我只是除以0.05，然後乘以0.05。正如其他類似問題所述。 In [119]: (127.651//0.05)*0.05 Out[119]: 127.65 In [120]: (127.6501//0.05)*0.05 Out[120]: 127.65 In [121]: (127.65000001//0.05)*0.05 Out[121]: 127.65

1熱度

3回答

ACOS（雙）給出了x64和X32的Visual Studio不同的結果

acos(double)給出了x64和X32的Visual Studio不同的結果。 printf("%.30g\n", double(acosl(0.49990774364240564))); printf("%.30g\n", acos(0.49990774364240564)); 在x64 ：1.0473040763868076 上X32：1.0473040763868078 上lin

1熱度

1回答

Float - > String - > Float Conversion的錯誤可靠邊距？

我有一個float值，我需要將它作爲字符串存儲在PHP中，然後在重新轉換爲浮點數後再進行比較。由於我知道，靠平等將是一個錯誤，因爲有對精度的損失潛在的，所以我在做類似下面的轉換：現在 if (abs((float)$string_value - $float_value) < 0.001) { echo "Values are close enough\n"; } ，而保證金對於我的直接目的

2熱度

1回答

恢復規範化操作時的精度問題

我正在做一些規範化操作，令我驚訝的是，當試圖恢復操作時，我得到了默認的6位小數精度爲assert_array_almost_equal的100％不匹配。爲什麼會發生？這可能是由於我的最大值的精度？如果是這樣，我如何才能在numpy.ndarray.max()中獲得更高的精度？ from __future__ import division import numpy _max = numpy.

3熱度

2回答

爲什麼不能從最大雙

#include <iostream> #include <limits> int main() { double d = std::numeric_limits<double>::max(); std::cout << std::to_string(d) << std::endl; std::cout << std::to_string(d - 1) <<

-1熱度

3回答

JS- toFixed返回一個字符串，但我需要一個6位數的數字

我正在處理另一個我無法控制的代碼庫，而且我看不到。我可以發送它的輸入，它會將輸出返回給我。這個代碼庫也沒有指定它被寫入的內容，但這並不重要，因爲我只需要傳遞它的數字，並將它傳回給它的輸出數字。我只知道預期的輸入和輸出是什麼。我必須使用的輸入之一需要我輸入一個長度精確爲6位小數的輸入。我的大部分數字都將遠遠高於6位小數，所以我可以將其舍入或截斷它，但是如果它四捨五入到或隨機發生的數字如0.125或