MRS客户端提供java、python开发环境,也提供开通集群中各组件的环境变量:Hadoop、hive、hbase、flink等。,参见登录ECS安装集群外客户端,为了方便数据库管理,对于安装的MySQL数据库,生产上建立了一个mysql用户和mysql用户组:,赋予用户读写权限,1. 创建配置文件my.cnf,2. 初始化log文件,防止没有权限,3. 初始化pid文件,防止没有权限,4. 初始化数据库,初始化数据库,并指定启动mysql的用户,否则就会在启动MySQL时出现权限不足的问题,初始化完成后,在my.cnf中配置的datadir目录(/var/log/mysqld.log)下生成一个error.log文件,里面记录了root用户的随机密码。,执行后记录最后一行:root@localhost: xxxxx 。 这里的xxxxx就是初始密码。后面登入数据库要用到。,设置开机自启动服务,1. 修改密码,2. 预置dolphinscheduler的用户,在任意文件夹下进行这一步均可,为防止误会,我在dolphinscheduler203进行这一步,创建用户dolphinscheduler,后面所有操作都是再这个用户下做的。设置root免密登录该用户:,修改install-config.conf文件,zk地址获取方式:,登录manager,访问zookeeper服务,copy管理ip即可(前提ECS与MRS集群网络已打通):,,2. 修改 conf/env 目录下的 dolphinscheduler_env.sh
以相关用到的软件都安装在/opt/Bigdata/client下为例:,说明,,,每次启停都可以重新部署一次:sh install.sh,启停命令,访问前端页面地址:http://xxx:12345/dolphinscheduler
用户名密码:admin/dolphinscheduler123,,,登录mrs manager查看hiveserver ip:,,创建Hive数据连接,普通集群没有权限可以使用默认用户hive,如有需要可以使用在MRS里面已经创建的用户:,,1、创建项目,,2、创建工作流,,3、在工作流编辑任务,,4、任务上线,,5、启动任务流之后可以查询工作流实例和任务实例,,,6、登录Manager页面,选择“集群 > 服务 > Yarn > 概览”,7、单击“ResourceManager WebUI”后面对应的链接,进入Yarn的WebUI页面,查看Spark任务是否运行,