將數據從Blob移動到SQL數據庫

我目前正在將我的傳感器讀取數據從Azure Blob存儲移動到SQL數據庫中。我有多個.csv文件，在這些文件中，我有各種列，其中包含日期（格式爲：2017/4/25），time，sensor_location和sensor_readings。我的問題;如果我想使用邏輯應用根據各自的列存儲數據，我應該採取什麼步驟？以及如何在第一個文件數據之後將第二個文件數據推入行中？謝謝將數據從Blob移動到SQL數據庫

來源

2017-04-25 Dein

查看Azure數據工廠 - 這是一個Azure本地服務，可以在各種源之間複製數據並根據您的喜好進行轉換。 –

謝謝@TomaszTuczapski。但我不知道如何告訴ADF將修改過的/新添加的數據只複製到SQL DB中。 – Dein

你需要寫一個腳本（任何支持或擴展mysql的高級語言都可以，python，php，nodejs等）來導入你的數據，或者你可以使用像sequelpro這樣的mysql客戶端其中導入csv文件的https://www.sequelpro.com/。

這裏是如何將數據插入到MySQL和PHP的鏈接： http://php.net/manual/en/pdo.prepared-statements.php 你可以讀取csv文件：

$contents = file_get_contents('filename.csv'); 
$lines = explode("\n", $contents); 
foreach($lines as $line) { ... 
// insert all rows to mysql here

來源

2017-04-25 07:44:08 visualex

感謝您的建議伴侶。但我不認爲我可以在Azure平臺上使用PHP – Dein

你應該嘗試Azure Data Factory。有一個教程將blob數據複製到SQL here。

您也可以將其設置爲按計劃運行。

來源

2017-04-25 09:57:13 Niels

謝謝。但我猜想每次ADF執行時，它都會將blob中的所有數據提取出來，並將其放在耗時且需要大量處理能力的表格中。我只需要將當前數據添加到以前的數據下方，或者只需將任何新數據添加到blob中即可。 – Dein

您可以自由複製部分存儲帳戶。例如，如果您的輸入blob以年/月/日格式構成，則可以使用動態表達式僅選擇當前或過去的日期進行復制。最簡單的可能是創建一個DF來玩弄，看看它是否適合你。但我同意，每次複製整個存儲帳戶都沒有意義:) – Niels

將數據從Blob移動到SQL數據庫

回答

相關問題