大数据集群自启动脚本

由于集群需要在启动的时候启动各种服务,而服务如果由master启动的话,则比较不好控制,所以由每个节点独立启动,好处如下:

  1. 可以单独重启一个节点,不需要操作master上的启动脚本
  2. 新加的节点可以使用同样的流程进行操作
  3. 该方案不依赖master中的slavers列表

master启动序列

  1. 启动zk
    ${ZOOKEEPER_HOME}/bin/zkServer.sh start ${ZOOKEEPER_HOME}/conf/zoo.cfg;
  2. 启动namenode
    ${HADOOP_HOME}/sbin/hadoop-daemon.sh –config $HADOOP_CONF_DIR start namenode;
  3. 启动resourcemanager
    ${HADOOP_HOME}/sbin/yarn-daemon.sh –config $YARN_CONF_DIR start resourcemanager
  4. 启动hbase-master
    ${HBASE_HOME}/sbin/hbase-daemon.sh start master
  5. 启动spark-master
    ${SPARK_HOME}/sbin/start-master.sh

slaver启动序列

  1. 启动zk
    ${ZOOKEEPER_HOME}/bin/zkServer.sh start ${ZOOKEEPER_HOME}/conf/zoo.cfg;
  2. 启动datanode
    ${HADOOP_HOME}/sbin/hadoop-daemon.sh –config $HADOOP_CONF_DIR start datanode;
  3. 启动nodemanager
    ${HADOOP_HOME}/sbin/yarn-daemon.sh –config $YARN_CONF_DIR start nodemanager
  4. 启动hbase-regionserver
    ${HBASE_HOME}/sbin/hbase-daemon.sh start regionserver
  5. 启动spark-worker
    ${SPARK_HOME}/sbin/start-slave.sh spark://${SPARK_MASTER_HOST}:${SPARK_MASTER_PORT} -h `hostname`

另外,有一些服务是常驻进行但没有相应的daemon服务管理,此处使用supervisor进行管理

  1. hiveserver2
    ${HIVE_HOME}/bin/hive –service hiveserver2
  2. hivemetastore

    ${HIVE_HOME}/bin/hive –service hivemetastore


知识共享许可协议
只要你遵守许可协议条款,
你就可以在任何媒介以任何形式复制、发行本作品:
1. 您必须标注:附带链接到原文的声明转自RebieKong’s Blog。
2. 您不得将本作品用于商业目的。
3. 您不得基于本文进行创作任何衍生作品。