mark一下，感谢作者分享！
Spark Idea Maven 开发环境搭建
一、安装jdk
jdk版本最好是1.7以上，设置好环境变量，安装过程，略。
二、安装Maven
我选择的Maven版本是3.3.3，安装过程，略。
编辑Maven安装目录conf/settings.xml文件，
?
三、安装Idea
安装过程，略。
四、创建Spark项目
1、新建一个Spark项目，
2、选择Maven，从模板创建项目，
3、填写项目GroupId等，
4、选择本地安装的Maven和Maven配置文件。
5、next
6、创建完毕，查看新项目结构：
7、自动更新Maven pom文件
8、编译项目
如果出现这种错误，这个错误是由于Junit版本造成的，可以删掉Test，和pom.xml文件中Junit的相关依赖，
即删掉这两个Scala类：
和pom.xml文件中的Junit依赖：
?
9、刷新Maven依赖
10、引入Jdk和Scala开发库
11、在pom.xml加入相关的依赖包，包括Hadoop、Spark等
?
然后刷新maven的依赖，
12、新建一个Scala Object。
测试代码为：
?
执行，
如果报了以下错误，
?
可以把servlet-api 2.5 jar删除即可：
最好的办法是删除pom.xml中相关的依赖，即
?
最后的pom.xml文件的依赖是
?
如果是报了这个错误，也没有什么问题，程序依旧可以执行，
?
最后看到的正常输出：
?
至此，开发环境搭建完毕。
五、打jar包
1、新建一个Scala Object
代码是：
?
2、 File -》Project Structure
3、点击ok
可以设置jar包输出目录：
4、build Artifact
5、运行：
把测试文件放到HDFS的/test/ 目录下，提交：
?
6、如果出现以下错误
?
就使用WinRAR打开jar包，删除META-INF目录下的除了mainfest.mf，.rsa及maven目录以外的其他所有文件
分类: Scala, Spark好文要顶 关注我 收藏该文 骁枫
关注 - 52
粉丝 - 5+加关注1 0currentDiggType = 0; « 上一篇： Spring项目解决Post乱码
» 下一篇： Flume 远程写HDFS
posted on -09-19 11:49 骁枫 阅读( 16342) 评论( 3) 编辑 收藏
FeedBack: #1楼 -02-07 14:20 四档路飞 感谢分享 支持(0) 反对(0) /face/463598/1117144908.png #2楼 -03-12 13:48 北方雪 在spark-submit时，总提示classnotfoundexception 自己的类名。如何解决? 支持(0) 反对(0) #3楼 3945107 /4/8 14:38:41 -04-08 14:38 STAR_ME @ 北方雪
后来解决了没 支持(0) 反对(0) 刷新评论 刷新页面 返回顶部 注册用户登录后才能发表评论，请 登录 或 注册， 访问网站首页。【推荐】超50万VC++源码: 大型组态工控、电力仿真CAD与GIS源码库！
【推荐】华为云7大明星产品0元免费使用
【推荐】腾讯云如何降低移动开发成本
【大赛】首届“顶天立地”AI开发者大赛
最新IT新闻:
· 好久不见的蛙儿子到了阿里邮局，给你发来了明信片
· 马斯克：Model 3明年初将进入亚欧市场
· 来电科技CEO被爆盗窃 来电与街电的“战争”再升级
· 百度百科上了区块链，“不背锅”只是第一步
· 反思IBM沃森大裁员：AI落地应用，需解决这三大痛点
» 更多新闻… 最新知识库文章:
· 你可以把编程当做一项托付终身的职业
· 评审的艺术——谈谈现实中的代码评审
· 如何高效学习
· 如何成为优秀的程序员？
· 菜鸟工程师的超神之路 – 从校园到职场
» 更多知识库文章… fixPostBody(); setTimeout(function () { incrementViewCount(cb_entryId); }, 50); deliverAdT2(); deliverAdC1(); deliverAdC2(); loadNewsAndKb(); loadBlogSignature(); LoadPostInfoBlock(cb_blogId, cb_entryId, cb_blogApp, cb_blogUserGuid); GetPrevNextPost(cb_entryId, cb_blogId, cb_entryCreatedDate, cb_postType); loadOptUnderPost(); GetHistoryToday(cb_blogId, cb_blogApp, cb_entryCreatedDate); Copyright © 骁枫 Powered by: 博客园 模板提供： 沪江博客
