precision

0熱度

3回答

就在我參加Google Code Jam資格賽的前一天。這是我第一次參加這種在線編碼比賽。真的很好玩。有三個問題給出我能解決兩個問題。但是在我遇到的其中一個問題中，我被要求使用真正巨大的價值。我是一個Java人，我想我會去雙變量。不幸的是，雙精度還不夠。此外，我在最後階段參加了這個活動，我沒有時間去深入研究它（再加上解決1就足以進入下一階段）。我的問題是這樣的，如何有一個大於一倍的精度機制。我

4熱度

3回答

「可能的精度損失」是Java發瘋了還是我錯過了什麼？

當應該沒有AFAIK時，我收到「精度丟失」錯誤。這是一個實例變量： byte move=0; 這種情況發生在這個類的一個方法： this.move=(this.move<<4)|(byte)(Guy.moven.indexOf("left")&0xF); 舉動是一個字節，移動仍是一個字節，其餘的是被鑄造到一個字節。我得到這個錯誤： [javac] /Users/looris/Svilu

6熱度

8回答

如何以微秒精度計算操作時間

我想在Windows平臺上以微秒精度計算函數的性能。現在Windows本身具有毫秒級的粒度，所以我該如何實現這一點。我試過下面的例子，但沒有得到正確的結果。 LARGE_INTEGER ticksPerSecond = {0}; LARGE_INTEGER tick_1 = {0}; LARGE_INTEGER tick_2 = {0}; double uSec = 1000000;

7熱度

1回答

BBP算法所需的工作精度？

我期待在低內存環境下計算Pi的第 n。由於我沒有小數點，所以這個integer-only BBP algorithm in Python是一個很好的起點。我只需要一次計算Pi的一個數字。如何確定最低可以設置的D，「工作精度的位數」？ D = 4給了我很多正確的數字，但幾個數字將會被刪除一個。例如，計算數字393的精度爲4給了我0xafda，從中提取數字0xa。但是，正確的數字是0xb。無論我設

19熱度

6回答

fopen/fopen_s和寫入文件

我在C中使用fopen將輸出寫入文本文件。該函數聲明爲（其中ARRAY_SIZE前面已經定義）： void create_out_file(char file_name[],long double *z1){ FILE *out; int i; if((out = fopen(file_name, "w+")) == NULL){ fprintf(stde

0熱度

1回答

二進制文件打印和所需的精度

我打印一個變量說z1這是一個包含浮點數的一維數組到一個文本文件，以便我可以導入到Matlab或GNUPlot進行繪圖。我聽說二進制文件（.dat）比.txt文件小。我目前使用的打印到.txt文件的定義是： void create_out_file(const char *file_name, const long double *z1, size_t z_size){ FILE *out; s

9熱度

4回答

C＃浮點十進制轉換

任何聰明的方式爲float這樣的轉換： float f = 711989.98f; 成十進制（或雙），而不會丟失精度？我已經試過： decimal d = (decimal)f; decimal d1 = (decimal)(Math.Round(f,2)); decimal d2 = Convert.ToDecimal(f);

5熱度

6回答

MS SQL日期時間精度問題

我有兩個人可能在兩臺不同的計算機上以相同的順序工作（存儲在MS SQL數據庫中）的情況。爲防止數據丟失的情況下，人們會先保存他的訂單副本，然後稍後第二次將保存他的副本並覆蓋第一個，我已經添加了一個檢查lastSaved字段（日期時間）之前保存。代碼看起來大致是這樣的： private bool orderIsChangedByOtherUser(Order localOrderCopy) {

1熱度

3回答

Java - 如何避免在拆分和轉換爲int時精度的損失？

我有一個情況，我需要找出一個int進入小數多少次，但在某些情況下，我失去了精度。下面是方法： public int test(double decimalAmount, int divisor) { return (int) (decimalAmount/ (1d/divisor)); } 這樣做的問題是，如果我傳遞1.2作爲小數量和5作爲除數，我得到的5而不是6.如何restru

1熱度

7回答

矩陣乘法的精度誤差

在我的程序中編碼矩陣乘法，我得到了精度誤差（大矩陣結果不準確）。這是我的代碼。當前對象將數據存儲在扁平數組中，並逐行排列。其他矩陣B的數據存儲在一個扁平數組中，列後列（所以我可以使用指針算術）。 protected double[,] multiply (IMatrix B) { int columns = B.columns; int rows = Rows;