具有WebJob/Azure功能的Azure Data Lake Store和Azure SQL

Question

我需要將WEB API響應文件上載到Azure Data Lake。 然後我必須將這些文件轉儲到Azure SQL表中。

以上兩個進程必須安排在小時執行。 我應該使用Azure Web Jobs還是Azure Function？

Answer 1

如果您正在消費計劃中運行Azure函數，則函數調用必須在5分鐘內完成，這對於大數據集可能不夠。

其餘功能和Web作業與您的方案類似。函數實際上是在Web作業之上運行的。如果你不需要函數的任何高級特性（例如綁定），我會去找一個Job。

Answer 2

Azure Data Factory可能是更好的機制來推動這種循環小時管道。更多細節在這裏。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution