Flink独立集群+Flink整合yarn

Flink独立集群的搭建：

1、上传解压设置环境变量

1. # 1、解压
2. tar -xvf flink-1.15.4-bin-scala_2.12.tgz
4. # 2、修改环境变量
5. export FLINK_HOME=/usr/local/soft/flink-1.15.4
6. export PATH=$PATH:$FLINK_HOME/bin

复制代码

2、修改设置文件

1. cd /usr/local/soft/flink-1.15.4/conf/
3. # 1、flink-conf.yaml
4. jobmanager.rpc.address: master
5. jobmanager.bind-host: 0.0.0.0
6. taskmanager.bind-host: 0.0.0.0
7. # taskmanager.host需要在node1和node2中修改
8. taskmanager.host: node1/node2
9. taskmanager.numberOfTaskSlots: 4
10. rest.address: master
11. rest.bind-address: 0.0.0.0
13. # 2、masters
14. master:8081
16. # 3、workers
17. node1
18. node2

复制代码

3、同步到全部节点

1. scp -r flink-1.15.4 node1:`pwd`
2. scp -r flink-1.15.4 node2:`pwd`
4. # 需要在node1和node2中修改
5. taskmanager.host: node1/node2

复制代码

4、启动Flink独立集群

1. #启动
2. start-cluster.sh
3. #停止
4. stop-cluster.sh
5. #启动后可访问的页面
6. http://master:8081

复制代码