www.jbmf.net > sCAlA jAr包

sCAlA jAr包

在“file|project structure|libraries”窗体中点击绿色+号,选择“java”,在弹出的窗体中选择“spark”的安装目录,定位到spark\jars目录,点击“ok”,把全部jar文件引入到项目中.网上和目前出版的书中讲解是spark2.0以下版本,采用的是把sparkle核心文件(如:“spark-assembly-1.3.0-hadoop2.4.0.jar”)拷贝到interllij idea安装目录下的lib目录下,再使用spark.由于spark2.1.0已经取消了该文件,因此无法用原先的方法.

以下是在linux系统下,利用编译一个scala的应用spark程序来说明你的问题:1. 假如spark的lib为(在/etc/profile中添加, 之后source /etc/profile): export SPARK_HOME=/opt/sparkexport SPARK_CLASSPATH=${SPARK_HOME}/lib/spark-

(1)安装scala 在官网上下载scala,本人下载scala-10.04 http://www.scala-lang.org/download/all.html 其中windows下有两个版本.msi和exe,具体区别可百度查看.这边随便找了一个说明http://zhidao.baidu.com/link?url=7BRlyeFUYodktHwGCjLUm

网上搜一下就有,下面转的董西成的博客(1)准备工作 1) 安装JDK 6或者JDK 7 2) 安装scala 2.10.x (注意版本) 3) 将下载的Intellij IDEA解压后,安装scala插件,流程如下:依次选择“Configure”> “Plugins”> “Browse repositories

scala-library.jar

在“File|Project Structure|Libraries”窗体中点击绿色+号,选择“Java”,在弹出的窗体中选择“Spark”的安装目录,定位到Spark\jars目录,点击“OK”,把全部jar文件引入到项目中.网上和目前出版的书中讲解是spark2.0以下版本,采用的是把sparkle核心文件(如:“spark-assembly-1.3.0-hadoop2.4.0.jar”)拷贝到Interllij IDEA安装目录下的Lib目录下,再使用Spark.由于Spark2.1.0已经取消了该文件,因此无法用原先的方法.

如果是spark1的话应该用的是2.10,2的话应该是2.11,具体的到spark安装目录下看一下jars中scala开头的jar包就可以了

这上面http://maven.outofmemory.cn/org.specs2/specs2_2.10/3.3.1/有 specs2所依赖的jar包,上面说的scala2.10.5 就够了2.11.4应该完全没问题吧

Spark编译的目前都是基于Scala 2.10.4的,安装Scala插件版本也是选择2.10.4,否则eclipse会报spark的jar包和scala版本不兼容的错误.

做法是右键项目-properties-scala Compiler -Build manager :set the compile order to JavaThenScala instead of Mixedscala Library,这里选择scala-2.10.5版本弄好后clean项目.检查problem下面没有报错,然后就可以正常运行了.

网站地图

All rights reserved Powered by www.jbmf.net

copyright ©right 2010-2021。
www.jbmf.net内容来自网络,如有侵犯请联系客服。zhit325@qq.com