data-processing

1熱度

1回答

我正在處理一個當前被編碼爲一個長行的大型json文件。這使得其他人無法使用，因此我想使用pprint進行渲染。目前我正在試圖導入完整的文件和打印爲pprint但我的輸出是這樣的： <_io.TextIOWrapper name='hash_mention.json' mode='r' encoding='UTF-8'> 我的問題是 - 什麼是展示？我怎樣才能得到它作爲pprint輸出jso

0熱度

2回答

在Python追加混合類型的值的列表，以數據幀

我有一個數據幀使用pandas.read_csv從CSV讀取，數據幀的每一行是這樣的： [1, '10/18/2016 06:00', 1, 14, 0, 5.5] 基本上，它包括整數，字符串和浮點數。現在，我想根據現有數據生成更多數據（newrow）並追加到原始數據框中。當我嘗試調用函數append用下面的代碼： df.append(list(newrow)) 我得到了錯誤： Runti

2熱度

2回答

我應該如何處理時間序列數據與熊貓的重複時間？

我有以下從API調用返回作爲一個更大的數據集的一部分： {'Time': datetime.datetime(2017, 5, 21, 18, 18, 1, tzinfo=tzutc()), 'Price': '0.052600'} {'Time': datetime.datetime(2017, 5, 21, 18, 18, 1, tzinfo=tzutc()), 'Price': '0.052

1熱度

1回答

使用SciPy stft函數指定片段中的樣本數量以進行短時傅立葉變換

我想對每個片段的具體樣本長度對我的數據執行短時傅里葉變換。我想使用來自信號子模塊的SciPy功能stft。但是，當我創建長度10e5以下方式的音頻陣列： fs = 10e3 # Sampling frequency N = 1e5 # Number of samples time = np.arange(N)/fs x = 500*np.cos(time) # Some random aud

0熱度

1回答

SSAS表格數據刷新

我正在開發用於Power BI的SSAS Tabular項目，作爲我需要的一部分，以便自動化以下流程 1.每週我必須刪除SSAS中最後兩週的數據表 2.更新最後一次兩週的數據。在此先感謝請指點

0熱度

2回答

處理數百萬條推文 - 循環非常緩慢。任何想法如何加快它？

正如標題所示，我正在處理數百萬條推文，其中一個數據點是兩個不同列表中是否存在任何單詞（每個列表包含大約500個單詞）。可以理解的很慢，但我會定期做這個，所以我想加快速度。任何想法，我怎麼能這樣？ lista = ['word1', 'word2', ... 'word500'] listb = ['word1', 'word2', ..., 'word500'] def token_list

0熱度

1回答

球面上帶有不規則網格的球面諧波變換

假設我在球面上有許多數據點。這些數據點隨機散佈在球體表面上，即它們不是分佈在諸如高斯網格之類的規則網格上。我的問題是：是否有可用的Python庫，允許我計算該數據集的球諧函數變換？否則，在應用標準球諧函數變換之前，我必須首先將數據點插入到規則網格中。對於非均勻傅立葉變換，我發現了幾個選項，例如， this one.但是，對於當前與傅里葉變換有關的非均勻球面諧波變換而言，目前爲止我沒有發現任何變

1熱度

1回答

如何將Scrapy Web爬網程序與Luigi數據管道集成？

（很長一段時間用戶& &第一個問題& &緊張的問）是真我目前正在建設一個將被部署到它具有以下架構的單一AWS EC2實例Python的後端： | ---- 數據源 ----- | Temp Storage | - 數據處理 --- | ----- DB ---- | 網絡爬蟲數據 ---- *保存到S3 * = \ API數據 ----------------- *保存到S3 * == >Lug

1熱度

3回答

提取數字維數的正則表達式

我使用python正則表達式從數據庫中提取維度信息。該列中的條目是這樣的： 23 cm 43 1/2 cm 20cm 15 cm x 30 cm 我從這個需要的僅僅是入門（所以有一個「x」，只有第一個號的條目）的寬度，但你可以看到價值觀遍佈全境。根據我在documentation中所瞭解的，您可以使用他們的位置訪問比賽中的組，因此我想我可以根據返回的組數和每個索引中找到的內容來確定輸

1熱度

3回答

如何使用Powershell處理自定義日誌數據？