马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
×
写在前面
2024-05-23:对于flink webUI的检察,起首还是根据先团体观看一下Task的分别,然后根据Exception去探求对应的TaskManager相干信息,然后双向确定是什么缘故原由造成的;作为metrics,固然看起来花里胡哨,本质上对flink底层实现机制的根本逻辑弄懂,应该还是比力容易看的;
注:由大佬有这块比力好的分享,跪求批评区共享一下;
2024-10-06:本次更新对Flink WebUI举行了全面先容,剩下的待处理惩罚的监控 指标包罗:Flink内存模子,Java dump,【watermark,Accumulators,metrics,火焰图,】后续随缘增补一下
1. 代码示例
job代码:https://github.com/interestingcom/FlinkTest/blob/master/src/main/java/com/example/job/WordCount.java
以WordCount为例,阐明Flink Webui界面参数分析,具体代码参考:
焦点代码如下:
- StreamExecutionEnvironment streamingEnvironment = FlinkEnvironmentFactory.createStreamingEnvironment();
- streamingEnvironment.setParallelism(4);
- SingleOutputStreamOperator<String> word = streamingEnvironment.addSource(new WordCountSource()).flatMap(new SplitMapFunction());
- SingleOutputStreamOperator<Tuple2<String, Integer>> wordAndOne = word.map(value -> Tuple2.of(value, 1)).returns(Types.TUPLE(Types.STRING,Types.INT));
- KeyedStream<Tuple2<String, Integer>, String> tuple2StringKeyedStream = wordAndOne.keyBy(value -> value.f0);
- SingleOutputStreamOperator<Tuple2<String, Integer>> sum = tuple2StringKeyedStream.sum(1);
- sum.print("flink计算结果===>");
- streamingEnvironment.execute();
复制代码 产生非常的代码:
- if ( string.equals("world") && randomInt %5==0){
- throw new Exception("随机数是randomInt"+randomInt+"遇到单词world...");
- }
复制代码 2. WebUI具体信息
2.1. Submit New Job
位置1:上传jar包
位置2:传入main class;
|