分类目录归档:笔记

大数据集群自启动脚本

由于集群需要在启动的时候启动各种服务,而服务如果由master启动的话,则比较不好控制,所以由每个节点独立启动,好处如下:

  1. 可以单独重启一个节点,不需要操作master上的启动脚本
  2. 新加的节点可以使用同样的流程进行操作
  3. 该方案不依赖master中的slavers列表

master启动序列

  1. 启动zk
    ${ZOOKEEPER_HOME}/bin/zkServer.sh start ${ZOOKEEPER_HOME}/conf/zoo.cfg;
  2. 启动namenode
    ${HADOOP_HOME}/sbin/hadoop-daemon.sh –config $HADOOP_CONF_DIR start namenode;
  3. 启动resourcemanager
    ${HADOOP_HOME}/sbin/yarn-daemon.sh –config $YARN_CONF_DIR start resourcemanager
  4. 启动hbase-master
    ${HBASE_HOME}/sbin/hbase-daemon.sh start master
  5. 启动spark-master
    ${SPARK_HOME}/sbin/start-master.sh

slaver启动序列

  1. 启动zk
    ${ZOOKEEPER_HOME}/bin/zkServer.sh start ${ZOOKEEPER_HOME}/conf/zoo.cfg;
  2. 启动datanode
    ${HADOOP_HOME}/sbin/hadoop-daemon.sh –config $HADOOP_CONF_DIR start datanode;
  3. 启动nodemanager
    ${HADOOP_HOME}/sbin/yarn-daemon.sh –config $YARN_CONF_DIR start nodemanager
  4. 启动hbase-regionserver
    ${HBASE_HOME}/sbin/hbase-daemon.sh start regionserver
  5. 启动spark-worker
    ${SPARK_HOME}/sbin/start-slave.sh spark://${SPARK_MASTER_HOST}:${SPARK_MASTER_PORT} -h `hostname`

另外,有一些服务是常驻进行但没有相应的daemon服务管理,此处使用supervisor进行管理

  1. hiveserver2
    ${HIVE_HOME}/bin/hive –service hiveserver2
  2. hivemetastore

    ${HIVE_HOME}/bin/hive –service hivemetastore