当用户应用与Spark本身依赖同一个库时可能会发生依赖冲突,导致程序崩溃。
这种情况 不是很常见,但是出现的时候也让人很头疼。
通常,依赖冲突表现为 Spark作业执行过程中抛出 NoSuchMethodError、ClassNotFoundException,或其他与类加载相关的 JVM 异 常。
对于这种问题,主要有两种解决方式:
一是修改你的应用,使其使用的依赖库的版本 与 Spark 所使用的相同。
二是使用通常被称为“shading”的方式打包你的应用。
Maven构建工具通过使用shading插件(事实上,shading的功能也是这个插件取名为maven- shade-plugin的原因)进行高级配置来支持这种打包方式。
shading可以让你以另一个命名 空间保留冲突的包,并自动重写应用的代码使得它们使用重命名后的版本。
这种技术有些 简单粗暴,不过对于解决运行时依赖冲突的问题非常有效。