spotify-scio

3熱度

1回答

運用spotifySCIO編寫Dataflow一個任務寫入PubSub的流雲存儲，下面的兩個例子e.g1和e.g2寫PubSub流GCS，但得到以下錯誤的下面的代碼錯誤 Exception in thread "main" java.lang.IllegalArgumentException: Write can only be applied to a Bounded PCollection

0熱度

2回答

如何將SCollection元素保存到不同的BigQuery表中？

我需要根據時間戳將SCollection元素保存到不同的每小時BigQuery表中。我嘗試以下方法 - 通過(TableName, Iterable[TableRow])族元素，然後使用BigQueryClient實例保存每個Iterable[TableRow]到它們各自的表中。這不起作用，因爲BigQueryClient不可序列化。創建一個SCollection[TableName, PCol

0熱度

2回答

Scio：使用Pub/Sub作爲收集源時，groupByKey不起作用

我將WindowsWordCount example程序的源程序從文本文件更改爲雲Pub/Sub，如下所示。我將莎士比亞文件的數據發佈到Pub/Sub中，但是它沒有正確提取，但.groupByKey似乎沒有任何轉換。 sc.pubsubSubscription[String](psSubscription) .withFixedWindows(windowSize) // apply w

1熱度

1回答

數據流模板功能上的行爲不一致？

當我創建數據流模板時，運行時參數的特性不會保留在模板文件中。在運行時，如果我嘗試傳遞一個值爲這個參數，我會採取400錯誤我使用scio 0.3.2，scala 2.11.11與apache梁（0.6）。我的參數如下： trait XmlImportJobParameters extends PipelineOptions { def getInput: ValueProvider[

0熱度

1回答

Scala宏：分配給變量的字符串文字不匹配

我正在使用來自Spotify的Scio庫的宏註釋。我想定義String類型的變量和註釋是這樣的： val schemaString = """schema here""" @BigQueryType.fromSchema(outputString) class BigQuery 然而，這並不編譯，如果我直接註釋String，它的工作原理： @BigQueryType.fromSchema("

0熱度

2回答

SBT驗證由多個protobuf 2/3依賴關係造成的錯誤（儘管有陰影）

我正在使用Scio/Bigtable/HBase與下面的這個示例項目驗證錯誤。依賴關係樹需要protobuf版本（2.5,2.6.1,3.0,3.1），並且似乎默認爲3.2。我使用了sbt-assembly的陰影部分，不確定我是否正確。我build.sbt： name := "scalalab" version := "1.0" scalaVersion := "2.11.8" li