hadoop2.7+spark2.2+zookeeper3.4.简单安装

##安装java8
解压配置环境即可@H_403_5@

##ssh(每一台机器)
ssh-keyscan #生成密码
ssh-copy-id lgh2 #复制到不同机器@H_403_5@

##创建用户
useradd -d /home/spark spark
passwd spark@H_403_5@

##解压
tar -zxvf zookeeper-3.4.8.tar.gz -C xxx目录@H_403_5@

##创建软链接（每一台机器）
ln -s zookeeper-3.4.8 zookeeper@H_403_5@

##创建环境变量
vim ~/.bashrc
export ZOOKEEPER_HOME=/home/spark/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH@H_403_5@

##修改配置文件
cd /home/spark/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg@H_403_5@

#配置信息如下：
tickTime=2000 #服务器与客户端之间交互的基本时间单元（ms）
initLimit=10 # 此配置表示允许follower连接并同步到leader的初始化时间，它以tickTime的倍数来表示。当超过设置倍数的tickTime时间，则连接失败
syncLimit=5 # Leader服务器与follower服务器之间信息同步允许的最大时间间隔，如果超过次间隔，默认follower服务器与leader服务器之间断开链接
dataDir=/home/spark/zookeeper/data #保存zookeeper数据路径
dataLogDir=/home//spark/zookeeper/dataLog #保存zookeeper日志路径，当此配置不存在时默认路径与dataDir一致
clientPort=2181 #客户端访问zookeeper时经过服务器端时的端口号
server.1=lgh:2888:3888 #表示了不同的zookeeper服务器的自身标识，作为集群的一部分，每一台服务器应该知道其他服务器的信息
server.2=lgh1:2888:3888
server.3=lgh2:2888:3888
maxClientCnxns=60 #限制连接到zookeeper服务器客户端的数量@H_403_5@

##创建myid文件
cd /home/spark/zookeeper/data
vim myid #输入1@H_403_5@

##复制到其他机器
scp -r zookeeper-3.4.8 spark@lgh1:/home/spark/
scp -r zookeeper-3.4.8 spark@lgh2:/home/spark/@H_403_5@

#修改myid文件
不同机器数字不一样，分别为2和3@H_403_5@

##启动
zkServer.sh start@H_403_5@

#查看状态
zkServer.sh status@H_403_5@

#查看进程
jps
QuorumPeerMain@H_403_5@

2、hadoop安装@H_403_5@

##解压
tar -zxvf hadoop-2.7.7.tar.gz -C xxx目录@H_403_5@

##修改vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk@H_403_5@

##修改 vim etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lgh:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/spark/hadoop-2.7.7/tmp</value>　　　　　　　　　
</property>
</configuration>@H_403_5@

##修改vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/dfs/name</value>
　　</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hdfs/data</value>
</property>
</configuration>@H_403_5@

#修改vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>@H_403_5@

##修改yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>@H_403_5@

##修改 vim slaves
lgh
lgh1
lgh2@H_403_5@

##复制到其他机器
scp -r hadoop-2.7.7/ spark@lgh1:/home/spark/
scp -r hadoop-2.7.7/ spark@lgh2:/home/spark/@H_403_5@

##配置环境变量
HADOOP_HOME=/home/spark/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin@H_403_5@

##格式化
hdfs namenode -format@H_403_5@

##启动
start-all.sh@H_403_5@

##查看进程
#主节点
9616 QuorumPeerMain
11264 ResourceManager
10818 Datanode
11061 SecondaryNameNode
11751 Jps
10714 NameNode
11370 NodeManager@H_403_5@

#从节点
2273 QuorumPeerMain
2547 NodeManager
2438 Datanode
2653 Jps@H_403_5@

3、spark的安装
##安装scala
tar -zxvf scala-2.12.8.tgz -C /usr/local/
ln -s scala-2.12.8/ scala@H_403_5@

##配置环境变量
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH@H_403_5@

##复制到其他机器并建立软链接
scp -r scala-2.12.8/ root@lgh1:/usr/local/
scp -r scala-2.12.8/ root@lgh2:/usr/local/@H_403_5@

##解压spark
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C xxx目录@H_403_5@

##修改配置文件
cd /home/spark/spark-2.2.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh@H_403_5@

vim spark-env.sh
配置信息如下：
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/home/spark/hadoop
export HADOOP_CONF_DIR=/home/spark/hadoop/etc/hadoop
export SPARK_MASTER_IP=SparkMaster
export SPARK_WORKER_MEMORY=2g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1@H_403_5@

cp slaves.template slaves
vim slaves
配置信息如下：
lgh
lgh1
lgh2@H_403_5@

##复制到其他节点并建立软链接
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh1:/home/spark/
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh2:/home/spark/@H_403_5@

##配置环境变量
export SPARK_HOME=/home/spark/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin@H_403_5@

##启动
cd /home/spark/spark/sbin && ./start-all.sh@H_403_5@

##jps查看主节点进程
9616 QuorumPeerMain
11264 ResourceManager
12704 Worker
10818 Datanode
12756 Jps
11061 SecondaryNameNode
12632 Master
10714 NameNode
11370 NodeManager@H_403_5@

##jps查看从节点进程
2240 Datanode
2562 Worker
2052 QuorumPeerMain
2613 Jps@H_403_5@

?@H_403_5@

（编辑：北几岛）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!