precision

    6熱度

    2回答

    在SQLite中存儲雙精度值：如何確保精度？

    我有一個問題，我需要存儲在android homed sqlite數據庫中的double值。因爲這些double值代表gps值（lat & lng），所以我確實NEED的絕對精度降到了逗號後面的第9個數字。 現在我有像這樣的表： CREATE TABLE x REAL lng; 和插入某物（硬編碼）等： INSERT INTO x lng = '1.0'; 並從該表中讀取LNG時成一些（J
    android database sqlite double precision 2010-06-21

    2熱度

    2回答

    Python中的字節精度值？

    我在Python中有一個散列函數。 它返回一個值。 如何查看此返回值的字節大小？我想知道它是4字節還是8字節或什麼。 原因： 我想確保的最小值爲0，最大值爲2 ** 32，否則我的計算是不正確的。 我想確保將它打包到I結構（無符號整數）是正確的。 更具體地說，我打電話給murmur.string_hash(`x`)。 我想知道健康檢查，我得到一個4字節的無符號返回值。如果我有一個不同大小的值，他們
    python byte precision 2010-06-25

    8熱度

    3回答

    32位與64位浮點性能

    我遇到了一個奇怪的問題。我工作的一種算法是由大量的計算這樣 q = x(0)*y(0)*z(0) + x(1)*y(1)*z(1) + ... 其中總和的長度爲4和7 之間原來的計算都使用64位精度完成的。對於實驗，我嘗試對x，y，z輸入值使用32位精度（以便計算使用32位執行），並將最終結果存儲爲64位值（直接轉換）。我希望32位性能更好（緩存大小， SIMD大小等），但令我驚訝的是，性能沒
    performance floating-point precision 2010-06-29

    192熱度

    5回答

    的JavaScript顯示浮到小數點後2位

    我想顯示一個數字，小數點後2位。 我想我可以在JavaScript中使用toPrecision(2)。 但是，如果數量是0.05，我會得到0.0500。我寧願它保持不變。 請參閱JSbin。 這樣做的最好方法是什麼？ 我可以考慮編寫一些解決方案，但我想像（我希望）這樣的東西是內置的？
    javascript floating-point precision 2010-07-02

    2熱度

    2回答

    Python + Scipy +集成：處理尖峯功能中的精度錯誤

    我正在嘗試使用scipy.integrate.quad將函數集成到非常大的範圍（0..10,000）。該函數在其大部分範圍內爲零，但在很小的範圍內有一個尖峯（例如1,602..1,618）。 積分時，我會期望輸出是積極的，但我猜想四分之一的猜測算法變得困惑和輸出零。我想知道的是，有沒有辦法來克服這個問題（例如，通過使用不同的算法，其他參數等）？我通常不知道尖峯將會在哪裏，所以我不能分割整合範圍和總
    python scipy precision integrate numerical-methods 2010-07-06

    1熱度

    3回答

    mysql中REAL（）數據類型的目的/要點是什麼？

    mysql中REAL（）數據類型的目的/要點是什麼？你有浮點數，雙精度和小數點，我明白，但是「真正的」數據類型在哪裏呢？有任何想法嗎？ 謝謝您提前;-) 是真正的浮子或雙？
    php sql mysql precision numerical 2010-07-13

    3熱度

    5回答

    C++浮點精度

    可能重複： Floating point inaccuracy examples double a = 0.3; std::cout.precision(20); std::cout << a << std::endl; 結果：0.2999999999999999889 double a, b; a = 0.3; b = 0; for (char i = 1; i <= 50; i+
    c++ c floating-point precision floating-accuracy 2010-05-26

    1熱度

    1回答

    Symfony的1.4二傳手型雙精度

    我想保存與14位小數的數字，但symfony中只保存6.如何控制這一點： $loc->setSinRadLon(0.73946213661883); 架構中的列的樣子： sin_rad_lon: { type: double(), scale: 14, notnull: true } 的DB stetting是： sin_rad_lon double(18,14) 在DB列值是：0.
    mysql double precision setter symfony-1.4 2010-06-04

    4熱度

    6回答

    確定精度和特定數目的比例在Python

    我有在Python含有浮點數（例如num = 24654.123）的變量，並且我想確定的數量的精度和標度值（在Oracle感），所以123.45678應該給我（8,5），12.76應該給我（4,2）等。 我首先想到使用字符串表示法（通過str或repr），但那些失敗的大數字（雖然我現在瞭解浮點數表示法的侷限性是這裏的問題）： >>> num = 1234567890.0987654321 >>>
    python string floating-point scale precision 2010-06-10

    3熱度

    2回答

    C＃精度損失除以雙

    功能波紋管時被傳遞一個字符串 「1004233」，並打印輸出如下： D1 = 1.004233 D2 = 0.00423299999999993 D3 = 4232.99999999993 D4 = 4232 我需要D4打印4233而不是4232.我如何阻止這種精確度損失的發生？ public string someFunc(String s){ string retval = "0"
    c# precision 2010-06-18
最新問題