发布时间 : 星期四 文章Spark集群搭建与测试 - 图文更新完毕开始阅读02e9ff05e009581b6ad9eb9b
精通Spark集群搭建与测试
1. 安装 VMwareWorkstation 软件 推荐官方下载最新版，下载地址：
https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-1210-WIN&productId=524&rPId=9763
2. 运行VMwareWorkstation，新建4台虚拟机，并安装Ubuntu操作系统 Ubuntu下载地址:http://www.ubuntu.org.cn/download/alternative-downloads
需要配置虚拟机使之能够上网，在这里我们采用网络地址转换即NAT的方式，与宿主机共享IP上网：
按照下图指定Ubuntu的iso文件，然后点击?power on this virtual machine?,然后按照提示一步步走下去即可完成操作系统的安装。
注1：可以先装好一台机器，然后通过VMware的克隆功能生成另外两台。
注2：安装完系统后，为了能从宿主机与虚拟机互相COPY文件，也为了能使虚拟机全屏显示，推荐安装VMwareTools.方法如下：
a. tar -xzvf VMwareTools-9.6.0-1294478.tar.gz b. cd vmware-tools-distrib/ c. sudo ./vmware-install.pl d. 然后一路回车即可
3. 为了简化后续操作中的权限问题，我们在这里配置为root账户登录系统，方法如下：
a. 进入root用户权限模式：sudo–s b. vim /etc/lightdm/lightdm.conf
[SeatDefaults] user-session=ubuntu
greeter-session=unity-greeter greeter-show-manual-login=true allow-guest=false
c. 为root账号设置密码: sudopasswd root
d. 重新启动系统后，即可用root账号登录： reboot -h now
注1：如果系统提示vim没有安装的话，可以通过apt-get install vim安装。 注2：切换为root账户登录后，如果遇到以下问题：
请按以下方法解决：vim /root/.profile，将“mesg n”，更改为“tty -s &&mesg n”。 4. 在各个节点修改节点名称，并配置ip地址和hostname的对应关系：
a. vim /etc/hostname, 将4台节点分别命名为master,worker1,worker2,worker3 b. Restart使更改生效
c. 验证hostname更改是否生效：用hostname命令
d. 在各个节点修改ip地址和hostname的对应关系: vim /etc/hosts e. 验证hostname和ip的映射关系是否正确:用ping 命令
注1：用hostname命令验证更改是否生效：
注2：用ifconfig来查看当前节点的ip: