大熊貓的列值選擇行，奇怪的行爲

好吧，我有一個熊貓數據幀是這樣的：大熊貓的列值選擇行，奇怪的行爲

  lat  long level  date time value 
3341 29.232 -15.652  10.0 20100109.0 700.0  0.5 
3342 27.887 -13.668 120.0 20100109.0 700.0  3.2 
... 
3899 26.345 -11.234  0.0 20100109.0 700.0  5.8

指數的陌生號碼的原因是因爲它來自一個CSV轉換爲大熊貓數據幀與一些值被過濾。列level,date,time並不真正相關。

我想，在ipython，看到一些行緯度過濾，所以我這樣做（如果數據幀是c）：

c[c['lat'] == 26.345]

或

c.loc[c['lat'] == 26.345]

，我可以看到如果該值存在或沒有，但有時它不會輸出數據幀中的緯度值，我看到！！！（例如，我可以在數據幀中看到緯度27.702的值，當我做c[c['lat'] == 27.702]或c.loc[c['lat'] == 27.702]時，我得到一個空的數據框，並且我看到了這種緯度的值）。這裏發生了什麼？

謝謝。

來源

2016-11-24 David

所有'lat'值都是數字嗎？其中一些可能是字符串，所以當你檢查數字的平等時，它不會返回任何東西。檢查列的類型。如果它是'對象'，那就是發生了什麼。您可以使用熊貓[to_numeric（）]（http://pandas.pydata.org/pandas-docs/stable/generated/pandas.to_numeric.html）函數進行轉換。 – 3novak

不，我恐怕我已經完成了'pd.to_numeric'並且它是一樣的...... – David

這可能是因爲你所要求的對浮點值的精確匹配，這是非常，非常危險。它們是近似值，通常打印的精度低於實際存儲的精度。

很容易看到0.735471打印，說，並認爲這是所有的，當其實價值真的0.73547122072282867;顯示功能簡單地截斷了結果。但是，當您嘗試在極具吸引力的短期價值上進行嚴格的平等測試時，繁榮。不起作用。

而不是

c[c['lat'] == 26.345]

嘗試：

import numpy as np 

c[np.isclose(c['lat'], 26.345)]

現在你會得到在一定範圍指定的值的範圍內的值。你can set the tolerance。

來源

2016-11-24 16:02:13

這個問題不包含reproducible example，但讓我試試。最有可能的，這是由於floating point issues。由於四捨五入，您看到（並嘗試與之比較）的數字可能與存儲在內存中的數字不同。例如：

import numpy as np 
x = 0.1 
arr = np.array([x + x + x]) 
print(np.array([x + x + x])) 
# [ 0.3] 
print(arr[arr == 0.3]) 
# [] 
print(x + x + x) 
# 0.30000000000000004 
# in fact 0.1 is not exactly equal to 1/10, 
# so 0.1 + 0.1 + 0.1 is not equal to 0.3

可以使用np.isclose代替==解決這個問題：

print(np.isclose(arr, 0.3)) 
# [ True] 
print(arr[np.isclose(arr, 0.3)]) 
# [ 0.3]

來源

2016-11-24 16:01:46

@Jonathan問題在於浮點數量。我以前從未有過浮動的情況，而且我也沒有想到浮動的表示可能是關鍵。 Thanxs。 – David

如果你想對@Jonothan發表評論，最好是對他的回答發表評論，我相信:)（它現在在頂部。） –

謝謝，Ilya，但在評論的幫助部分寫道，如果你提@Jonathan和他在之前的評論中他也收到了評論;） – David

除了解決浮點值比較問題的答案之外，lat列中的某些值可能是字符串類型而不是數字。

編輯：你表示這不是問題，但我會在這裏留下這個迴應以防別人幫助別人。:)

使用熊貓的to_numeric()函數將它們轉換爲數字。

import pandas as pd 

df['lat'] = pd.to_numeric(df['lat']) 
# you can adjust the errors parameter as you need 
df['lat'] = pd.to_numeric(df['lat'], errors='coerce')

來源

2016-11-24 16:05:29 3novak

大熊貓的列值選擇行，奇怪的行爲

回答

相關問題