莺时

东边日出西边雨,道是无晴却有晴

Open Source, Open Mind,
Open Sight, Open Future!
  menu
18 文章
3692 浏览
1 当前访客
ღゝ◡╹)ノ❤️

Centos7 安装 ambari 2.6.2.2 和HDP 2.6.5 的艰苦历程

Centos7 安装 ambari 2.6.2.2 和HDP 2.6.5 的艰苦历程

安装前的准备

  1. VM虚拟机三台(切记别吝啬,硬盘大点,不然安装的时候突然机器写满,centos连机都开不开)
  2. ambari地址:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-centos7.tar.gz
    HDP地址: http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz
    HDP-UTILS地址:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
    HDP-GPL地址:http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz
  3. 肝一个(没有事情是一个肝解决不了的,如果有那就两个)。

ambari 安装前的Centos准备

  1. 设置你的hostname,hostnamectl set-hostname xxx 如果你想好过一点的,就乖乖的设置。没安装过原生hadoop集群的人是不知道这个hostname多么重要呀(如果不改hostname,能让你发狂,各种访问不通的问题)
  2. hadoop权限用户的免密登录(最好不要使用root,如果有漏洞被人利用了就完犊子了),因为ambari-server需要免密登录执行脚本。顺带着把即将要安装ambari-server的服务器的hadoop 的id_rsa拷贝出来,一会需要用到。
  3. /etc/hosts 添加刚刚设置的集群host和ip的映射。
  4. systemctl disable firewalld 永久关闭防火墙 / systemctl stop firewalld 临时关闭防火墙
    5。关闭selinux cat /etc/selinux/config ,修改行SELINUX=disabled。操作到此处最好重启一下。

ambari 安装前的必备软件准备

  1. JAVA环境(每台机器):安装JDK8(配置JAVA_HOME,不用我说了吧),注意一点就好:记得卸载自带的jdk
  2. 时钟同步(每台机器):yum -y install ntpntpdate pool.ntp.org 同步时间,可以设置crontab来定时启动时钟同步。或者启动systemctl start ntpd
  3. httpd(主机器):因为国外镜像,所以下载大文件偶尔会出问题,推荐自建镜像源。 yum -y install httpdsystemctl start httpd
    • cd /var/www/html/ 在下面创建一个目录(文件夹名:HDP),目录中存放之前下载的压缩包,并且解压出来。
    • 通过 http://ip/HDP/访问页面。
  4. createrepo(主机器) :yum install yum-utils createrepo yum-plugin-priorities -y
    • createrepo HDP/
    • 修改 ambari 的资源配置文件HDP/ambari/...../ambari.repo。中间路径省略了,就一个文件夹==。baseurl修改为http://ip/HDP/ambari/ambari/centos7/2.6.0.0-267/,gpgkey修改为http://ip/HDP/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins。中间的路径可以依照包解压的样子自己修改。
    • 同理修改HDP的资源配置文件,这个里面包含了HDP和HDP_UTILS的配置修改。
    • 如果用的HDP-GPL,还需要修改HDP-GPL的资源配置文件。
    • 将刚刚修改的几个资源配置文件复制到每台机器的/etc/yum.repos.d/
    • yum clean all && yum makecache && yum repolist,看看是不是有ambari的资源了。

ambari-server的安装

  1. 主服务器:root权限 yum -y install ambari-server
  2. 主服务器:root权限 ambari-server setup
  3. ambari-server 配置
    • 第一个是修改运行用户;过段选择y,然后输入hadoop
    • 第二个是配置JAVA_HOME。
    • 第三个是配置数据库(怕麻烦的话,选择n,默认使用PostgreSQL,啥也不用管)
    • 第三个如果使用自己的数据库,请先在目标数据库运行sql文件(/var/lib/ambari-server/resources/目录下的对应sql文件。 mysql8的注意,里面有些sql错误,官方的这些人表名用关键字也是牛逼呀,还不加``,自己改吧)
      4.主服务器:root权限 ambari-server start

HDP安装

我就不赘述了,怎么配置集群很简单的,我说一下容易出错的点吧。

  1. 第二步 Select Version,填写的就是httpd服务的URL地址,其实和repo文件里面的一致
  2. 第三步 Install Options,填写的就是之前拷出来的id_rsa文件,用户写hadoop,你的私钥都是hadoop用户的。这个地方的用户是设置的集群以什么用户启动,安装。权限不足的可以给个visodu
  3. 第四步 Config Host,这个地方是错误百出呀,各种奇葩的错误,无非就是需要升级openssl或者在/etc/ambari-agent/conf/ambari-agent.ini文件的[security]下增加force_https_protocol=PROTOCOL_TLSv1_2,真心重点。最好每台服务器都设置这个。success以后最好处理一下check出来的问题,不然后面出现的错误,你都不知哪里来的,还是乖乖听官方大哥的,别忽略,有个提示存在hadoop用户的,那个不用处理,毕竟咱们的ambari就是需要hadoop。
  4. 后面就是点点点式操作,几乎不用动,配置在集群建好之后还可以修改。

总结(其实就是吐槽)

  1. 其实吧,ambari还蛮好用的,个人比较喜欢,因为刚开始的时候是接触的原生的hadoop组件,ambari就是在原生的hadoop组件上做了集成,你能够看到hadoop 的版本,而CDH就不一样了,感觉整体都换了,所有的版本都是依赖于CDH的版本。并且ambari是完全开源,免费的,公司首选呀。
  2. 个人推荐学习的话,还是从原生hadoop组件开始,等hadoop的生态圈熟悉的差不多了,就可以开始使用集成工具来搭建维护集群。
  3. 在集群切换HA的时候,ambari貌似有BUG,web界面上修改第二个namenode的部署节点,但是配置文件里面没有,导致配置文件和ambari存储在数据库中的组件位置信息不一致,导致HA的时候失败,出现HA和secondaryNamenode同时存在,这个时候就是需要展现你对原生hadoop 的理解了,最好是修改配置文件,让配置文件和数据库的信息一致。关于怎么删掉secondaryNamenode我还在想办法。

标题:Centos7 安装 ambari 2.6.2.2 和HDP 2.6.5 的艰苦历程
作者:ludengke95
地址:http://xvhi.ludengke95.xyz/articles/2019/07/19/1563500903475.html