Flink WebUI分析(待更新)

[复制链接]
发表于 2025-12-9 17:37:37 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
写在前面

2024-05-23:对于flink webUI的检察,起首还是根据先团体观看一下Task的分别,然后根据Exception去探求对应的TaskManager相干信息,然后双向确定是什么缘故原由造成的;作为metrics,固然看起来花里胡哨,本质上对flink底层实现机制的根本逻辑弄懂,应该还是比力容易看的;
注:由大佬有这块比力好的分享,跪求批评区共享一下;
2024-10-06:本次更新对Flink WebUI举行了全面先容,剩下的待处理惩罚的监控监控指标包罗:Flink内存模子,Java dump,【watermark,Accumulators,metrics,火焰图,】后续随缘增补一下
1. 代码示例

job代码:https://github.com/interestingcom/FlinkTest/blob/master/src/main/java/com/example/job/WordCount.java
以WordCount为例,阐明Flink Webui界面参数分析,具体代码参考:
焦点代码如下:
  1. StreamExecutionEnvironment streamingEnvironment = FlinkEnvironmentFactory.createStreamingEnvironment();
  2. streamingEnvironment.setParallelism(4);
  3. SingleOutputStreamOperator<String> word = streamingEnvironment.addSource(new WordCountSource()).flatMap(new SplitMapFunction());
  4. SingleOutputStreamOperator<Tuple2<String, Integer>> wordAndOne = word.map(value -> Tuple2.of(value, 1)).returns(Types.TUPLE(Types.STRING,Types.INT));
  5. KeyedStream<Tuple2<String, Integer>, String> tuple2StringKeyedStream = wordAndOne.keyBy(value -> value.f0);
  6. SingleOutputStreamOperator<Tuple2<String, Integer>> sum = tuple2StringKeyedStream.sum(1);
  7. sum.print("flink计算结果===>");
  8. streamingEnvironment.execute();
复制代码
产生非常的代码:
  1. if ( string.equals("world") && randomInt %5==0){
  2.     throw new Exception("随机数是randomInt"+randomInt+"遇到单词world...");
  3. }
复制代码
2. WebUI具体信息

2.1. Submit New Job

位置1:上传jar包
位置2:传入main class;

回复

使用道具 举报

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表