走进Spark生态圈:环境的安装与配置

小说:网络推手兼职平台作者:道龙卓顺更新时间:2018-12-12字数:94945

走进Spark生态圈:环境的安装与配置


什么是Spark?

Apache Spark 是一种大规模数据处理的快速通用引擎,使用基于内存的处理方式,较与MapReduce而言,解决了其shuffle多次IO操作带来的效率低问题,从而达到快速的大数据计算与分析

Spark的优缺点

优点

快:基于内存的处理方式
易用性:可以使用多种编程语言进行开发,例如:Scala,Java,Python
通用性:适用于不同的处理场景
1.交互式查询 => Spark SQL
2.流式计算 => Spark Streaming
3.图计算 => Spark GraphX
4.机器学习 => Spark MLlib
兼容性:可以运行在 Hadoop, Mesos, standalone,还可以访问各种数据源,包括HDFS,Cassandra, HBase, and S3

缺点

基于内存的方式,容易导致出现OOM(out of memory)异常(可以通过优化Spark或者使用Flink替代解决方案)

体系结构

Spark集群中包含三个重要的概念:Master,Worker,Executer
Master:掌管着整个集群的资源,负责资源的调度,和Hadoop Yarn很像,并接受客户端的请求,未其分配资源。
Worker:管理着节点的资源,具体的执行任务都是在Worker上面执行的,在默认情况下Worker会最大化的使用节点的资源,这样是导致OOM的根本原因。
Executer:运行在Worker上面,可以按照线程来理解。

环境准备

oracle linux 6 下载地址:http://pan.baidu.com/s/1i5EeRMP
vmware fusion 8 下载地址:http://pan.baidu.com/s/1gfaTma3
JDK 下载地址:http://pan.baidu.com/s/1bpi2W6j
Spark 下载地址:http://pan.baidu.com/s/1slulCTZ

运行在StandAlone下的伪分布集群

我们先创建一台名为“Spark81”的虚拟机

1.解压JDK

tar -xvf jdk-8u151-linux-x64.tar -C training/

2.添加环境变量 JAVA_HOME

vim ~/.bash_profile
在文件的末尾添加

 JAVA_HOME=/root/training/jdk1.8.0_151
 export JAVA_HOME
 PATH=$JAVA_HOME/bin:$PATH
 export PATH

然后执行如下命令,使配置生效
source ~/.bash_profile
配置成功后,运行java -version出现下图则代表配置Java环境变量成功

3.解压Spark安转包

tar -xvf spark-2.2.0-bin-hadoop2.7.tar -C training/

4.添加环境变量SPARK_HOME

vim ~/.bash_profile
在文件的末尾添加

 SPARK_HOME=/root/training/spark-2.2.0-bin-hadoop2.7 
 export SPARK_HOME
 PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
 export PATH

然后执行如下命令,使配置生效
source ~/.bash_profile
配置成功后,运行spark-shell出现下图则代表配置Spark环境变量成功并进入了Spark Shell模式

5.添加HOSTS

执行vim /etc/hosts在文件的末尾添加 192.168.0.81 spark81
--虚拟机设置的桥接模式,本机为0段IP
简单了解需要用到的spark的文件结构

bin:存放spark常用的命令,其中包含spark-shell(spark-shell命令模式),spark-submit(提交程序到spark上运行),pyspark(python写的程序需要用到的命令)等。
sbin:存放集群相关操作的命令,start-all.sh(启动集群),start-master.sh(启动master节点)等
examples:官方提供的示例
jars:spark依赖的jar包
logs:集群中产生的日志,很重要,出现莫名其妙的现象可以通过日志看到具体的信息
conf:主要存放配置文件

6.修改配置文件 conf/spark-env.sh,配置spark的运行环境

执行cp spark-env.sh.template spark-env.sh
编辑spark-env.sh,因为我们要在StandAlone模式上运行Spark,添加如下内容到文件末尾

如图蓝色字体部分已经说明需要配置的内容,其中必要参数为:
SPARK_MASTER_HOST 设置Master节点的地址
SPARK_MASTER_PORT 设置Master节点的端口号,一般为7077
其余配置均为可选内容,编辑文件的时候自然会看到,如图的可选的配置为限制Worker所要占用的资源

7.修改配置文件 conf/slaves.sh 配置spark的worker节点

执行cp slaves.sh.template slave.sh
编辑slave.sh,修改文本“localhost”为文本“spark81”

8.执行start-all.sh 如下图


从图中可以看到,启动日志已经被写到logs文件夹,执行jps

至此我们已经在spark81上运行了spark的伪分布式集群

9.可视化spark

在浏览器的地址栏输入:spark81:8080

运行在StandAlone下的全分布式集群

我们需要准备spark82,spark83,spark84,其中spark82作为Master节点,spark83和spark84为Worker节点

1.在hosts文件中添加

     192.168.0.82 spakr82
     192.168.0.83 spark83
     192.168.0.84 spark84

2.拷贝training目录下JDK和Spark解压后的文件夹拷贝到spark82,spark83,spark84上,并配置如spark81的环境变量

scp -r jdk-8u151-linux-x64/ root@spark82:training
scp -r jdk-8u151-linux-x64/ root@spark83:training
scp -r jdk-8u151-linux-x64/ root@spark84:training
scp -r spark-2.2.0-bin-hadoop2.7/ root@spark82:training
scp -r spark-2.2.0-bin-hadoop2.7/ root@spark83:training 
scp -r spark-2.2.0-bin-hadoop2.7/ root@spark84:training

这里也顺带将spark的配置拷贝了过来

3.设置spark82,spark83,spark84如spark81的hosts

4.修改spark83 和 spark84 的 conf/spark-env.sh,将SPARK_MASTER_HOST 修改为 spark82

5.修改spark82,spark83,spark84 的conf/slaves.sh,将文本“spark81”修改为“spark83”,换行添加文本“spark84”

6.在spark82上运行start-all.sh如图


可视化如图

免密码登录

我们在使用类似于scp这种命令的时候,往往需要输入密码,几台机器无所谓,但是集群中存在上百台机器,手动输入密码显然不可取,所以衍生出了免密码登录的配置,主要采用不对称加密的方式来实现免密码登录

1.创建ssh密钥对,spark82,spark83,spark84执行相同的操作

执行ssh-keygen -t rsa然后一直按enter即可,生成的密钥对存在于.ssh/

其中id_rsa存储私钥,id_rsa.pub存储公钥

2.发送spark82的公钥到spark83,saprk84,spark83和spark84也需要发送公钥到另外两台服务器

ssh-copy-id -i .ssh/id_rsa.pub root@spark83
ssh-copy-id -i .ssh/id_rsa.pub root@spark84
...

3.查看.ssh/authorized.keys,存放的授权密钥

遇到的问题

Worker节点无法和Master节点通信
1.查看Worker节点的logs文件夹下的日志,可以查看到具体的错误信息
2.值得注意的一点是(本人吃过亏,查了好久才发现是是防火墙的问题):应该检查防火墙是否关闭或者对应的端口号是否开放
查看防火墙状态service iptables status
关闭防火墙service iptables stop

当前文章:http://zxqss.com/rwgig/74956.html

发布时间:2018-12-12 10:06:39

手机挖矿赚钱软件2018 可以挣钱的安全app软件 德丰杰风险投资公司张成瑞 温州兼职网日结工资 唐山大学生兼职 事业单位工作人员兼职 深圳沙井手工活兼职 在网上做兼职刷单 做什么兼职靠谱 天津大学生兼职招聘

编辑:龙伯

我要说两句: (0人参与)

发布