如何設置vcores爲sqoop工作

Question

如何sqoop aquires vcores執行。我提交了一個包含4個mapper的sqoop作業，即使有大約50個vcore，應用程序也從1個vcore開始。所以沒有任何parelllization。這是一個導入到文本文件的sqoop作業。這些是關於vcrore分配的紗線配置參數。 sqoop作業如何獲取要執行的vcore？從大多數數據庫源平行

<property> 
<name>yarn.scheduler.maximum-allocation-vcores</name> 
<value>4</value> 
<source>yarn-site.xml</source> 
</property> 

<property> 
<name>yarn.app.mapreduce.am.resource.cpu-vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>mapreduce.reduce.cpu.vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>yarn.nodemanager.resource.cpu-vcores</name> 
<value>8</value> 
<source>yarn-default.xml</source> 
</property> 

<property> 
<name>mapreduce.map.cpu.vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>yarn.scheduler.minimum-allocation-vcores</name> 
<value>1</value> 
<source>yarn-site.xml</source> 
</property> 

<property> 
<name>yarn.scheduler.increment-allocation-vcores</name> 
<value>1</value> 
<source>yarn-site.xml</source> 
</property> 

Answer 1

從https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_controlling_parallelism

Sqoop進口數據。您可以指定要使用通過使用-m或--num映射器參數來執行導入的地圖任務（並行進程）的數量。

地圖的任務是相同的，以vcores。