適用於Fitbit數據的Spark Streaming功能

Question

我正在使用Fitbit Oauth 2.0來訪問Fitbit數據。我將這些數據存儲在SQL數據庫中，之後，我使用Spark SQL來分析數據。 如果我必須使用Spark Streaming，那麼在完成OAuth後如何將數據提取到Spark？

Answer 1

有多種方式做到這一點

1. 您可以將fitbit格式化數據的結構化數據，然後傾倒到HDFS /卡夫卡/插座並啓動相應的HDFS /卡夫卡/槽狀接收器。

2. 您可以編寫自己的自定義接收器來直接使用OAuth或從SQL數據庫接收數據。