-
在编写
Spark
应用时,有时需要使用到一些额外的jar
包、额外的资源文件,因此在每个Executor
上都需要一份files
的拷贝。那么files
是怎么被复制到各个Executor
上的呢?本文将基于Spark 1.1.1
来分析Spark files
的传输流程。
-
使用 Spark GraphX 以及 Gephi 对 Maven 仓库中的 Artifact, Group 间的依赖网络进行可视化的分析。
在编写Spark
应用时,有时需要使用到一些额外的jar
包、额外的资源文件,因此在每个Executor
上都需要一份files
的拷贝。那么files
是怎么被复制到各个Executor
上的呢?本文将基于Spark 1.1.1
来分析Spark files
的传输流程。
使用 Spark GraphX 以及 Gephi 对 Maven 仓库中的 Artifact, Group 间的依赖网络进行可视化的分析。