Spark/YARN允許多線程嗎？

Question

由於YARN負責管理Hadoop應用程序的資源，如內核和進程，是否允許創建新線程的YARN應用程序？

我主要介紹運行在YARN資源管理器上的Spark應用程序。我知道，如果你創建一個新的線程沒有錯誤，但是，它是安全的嗎？

Answer 1

我回覆我自己。 YARN控制內存和內核等資源，而不是線程。在創建容器時（處理親和性），通過更改操作系統特定參數來控制內核。然後，JVM正在使用指定數量的內核運行，並且可以根據需要創建任意數量的線程。