700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > Exception in thread main java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

Exception in thread main java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

时间:2019-05-25 13:15:32

相关推荐

Exception in thread main java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

敲黑板 ,引入的依赖 一定要 “compile” 或则 “runtime”,否则spark conf 无法初始化,这辈子也运行不了,千万不要是 “provided".

<dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.11</artifactId><version>${spark.jar.version}</version><scope>compile</scope></dependency>

在一个maven项目中,如果存在编译需要而发布不需要的jar包,可以用scope标签,值设为provided。如下:

<dependency><groupId>javax.servlet.jsp</groupId><artifactId>jsp-api</artifactId><version>2.1</version><scope>provided</scope><classifier /></dependency>

scope的其他参数如下:

compile

默认的scope,表示 dependency 都可以在生命周期中使用。而且,这些dependencies 会传递到依赖的项目中。适用于所有阶段,会随着项目一起发布

provided

跟compile相似,但是表明了dependency 由JDK或者容器提供,例如Servlet AP和一些Java EE APIs。这个scope 只能作用在编译和测试时,同时没有传递性。???

runtime

表示dependency不作用在编译时,但会作用在运行和测试时,如JDBC驱动,适用运行和测试阶段。

test

表示dependency作用在测试时,不作用在运行时。 只在测试时使用,用于编译和运行测试代码。不会随项目发布。

system

跟provided 相似,但是在系统中要以外部JAR包的形式提供,maven不会在repository查找它。

引入 spark 依赖 ,尤其是 spark-core spark -streaming spark-mllib ,这个时候要注意两点,这些spark 依赖的版本也一定要和 安装spark 根目录下jars 目录中的spark 相关jar包版本一致,通过观察 jars 中的spark 相关jar包都是 spark_*_2.11.0_2.1.0,一定要注意其中的版本,2.11.0代表的是spark 引用的scala 版本大号

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。