[BD] 阿里云部署hadoop集群

安装方式

rpm包安装：下载rpm文件后离线装，安装过程中会下载相应依赖
bin文件安装：在线安装
tar包安装

步骤

下载安装文件：买香港机器，按量付费，传到windows电脑
购买三台，按需付费，2G 8核
开放端口：ECS实例>更多>安全组配置>配置规则
关闭selinux：disabled（默认关闭）
设置时区：date 查看
时间同步（CentOS 7）
- 第一台通过网络同步，第二、三台与第一台同步
- systemctl stop ntpd
- systemctl disable ntpd
- /usr/sbin/ntpdate hadoop001
- crontab -e：00 00 * * * /usr/sbin/ntpdate hadoop001（每天0点同步一次）
- 云主机可不做，非云主机（虚拟机 / 公司内部机器）一定要做
安装 jdk
- /usr/java
- 解压之后，修正所属用户及用户组
- chown -R root:root /usr/java/jdk1.8.0_45
- 设置环境变量：scp /etc/profile hadoop002:/etc/
离线部署 MySQL
- innodb_buffer_pool_size=2G（生产环境12G）
- jdbc
离线部署 CM
- 文件3
- 解压到 mkdir /opt/cloudera-manager
- 修改配置
- agent：hadoop001-hadoop003
- server：hadoop001
- 创建 cloudera-scm
- 修改用户组：chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager
离线源部署 Parcel 文件（hadoop001）
- 文件1 2 5
- mkdir -p /opt/cloudera/parcel-repo
- 安装包 mv 到目录，重命名sha去掉1
- 校验文件是否完整（防止网络下载丢包）
- chown -R cloudera-scm:cloudera-scm /opt/cloudera
创建目录
- 所有节点创建大数据软件的安装目录，用户和用户组权限
- mkdir -p /opt/cloudera/parcels
- chown -R cloudera-scm:cloudera-scm /opt/cloudera
启动 Server 和 agent
- /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-server
- 等待一分钟，看日志是否报错
- /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent
- 云主机开启7180端口