2016-12-30 199 views
2

據sqoop.apache.org,Sqoop 2功能不完整,不應該被用於生產系統。公平的說,有些人可能想要在他們的測試環境中測試Sqoop 2的新功能。Sqoop 2提供的Sqoop 1沒有提供什麼?

Cloudera在Sqoop 1和Sqoop 2(https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_ig_sqoop_vs_sqoop2.html)之間進行了功能比較,但根據頁面,Sqoop 2沒有提供Sqoop 1沒有提供的內容。

那麼,爲什麼會有人使用Sqoop 2目前的形式?它與Sqoop 1相比有什麼優勢嗎?如果沒有,爲什麼可以使用?提前致謝!

回答

2

一些預計在Sqoop2穩定版本的功能:

  1. 一個易於使用的GUI這將是附加到現有的命令行。
  2. 像公開共享密碼的安全修補程序是固定的
  3. 簡化調試工作提供更好的日誌記錄。
  4. 提供給不遵循JDBC連接模型的支持。

目前沒有可用的sqoop 2的穩定版本。但是您可以構建最新的項目來測試產品並承諾開放項目(如果感興趣的話)。


參見:

Sqoop2 proposal

Features and releases

+0

感謝您的答案和來源,我接受你的答案,因爲功能列表最接近我正在尋找的東西。不過,我想這些都是最終的功能 - 您能否詳細說明Sqoop 2目前存在哪些功能?謝謝! –

+1

Hbase連接器(KiteConnector)支持,更新執行引擎(MR)和Kerberos支持。只有穩定發佈後,我們纔會知道完整列表。 [Sqoop路線圖](https://cwiki.apache.org/confluence/display/SQOOP/Sqoop+2+Roadmap) –

0

的Apache Sqoop使用客戶端模型,其中用戶需要安裝Sqoop與客戶端上的連接器/驅動器一起。 Sqoop2使用基於服務的模型,其中連接器/驅動程序安裝在Sqoop2服務器上。另外,所有配置都需要在Sqoop2服務器上完成。

從MR的角度來看,另一個區別是Sqoop提交了一個Map only作業,而Sqoop2提交了一個MapReduce作業,其中Mappers將從源傳輸數據,而Reducers將根據指定的源轉換數據。這提供了一個乾淨的抽象。在Sqoop,運輸和轉換都是由Mappers提供的。

在Sqoop2另一個主要區別是從安全角度來看。管理員將建立到源和目標的連接,而運營商用戶使用已建立的連接,因此運營商用戶無需知道有關連接的詳細信息。操作員只能根據需要訪問一些連接器。

+0

感謝您的答案,其中包括Map和MapReduce的區別。這是一個很好的觀點,抽象更清晰。 –

2

就像一個快速注:

根據Cloudera(如2017年11月的)

無te:Sqoop 2已被棄用。 Cloudera推薦使用Sqoop 1.

+0

這不提供問題的答案。要批評或要求作者澄清,請在其帖子下方留言。 - [來自評論](/ review/low-quality-posts/18664928) – diceler