背景

为了接入实时事件数据，记R接入需要借助于StarRocks的数据RoutineLoad能力，将kafka的延迟数据接入到StarRocks的表中 ，在routine load比较多的记R接入情况下 ，出现大量的数据数据延迟 ，最高延迟达到了16分钟 。延迟

其中 ，记R接入在创建routine load的数据脚本里，设置了如下参数 ：

• desired_concurrent_number等于kafka的延迟分区数

• max_batch_interval等于20

官方答复

咨询了官方后，官方给出如下答复（https://forum.starrocks.com/t/topic/1675） 。记R接入

routine load 消费的数据并行度取决于以下四个属性的最小值 ，增大并行度可以增加消费速率
：

1. desired_concurrent_number
   ，延迟创建routine load任务时指定参数 ，记R接入默认3。数据
2. kafka的延迟分区数。
3. fe的配置 max_routine_load_task_concurrent_num = 5。
4. be数量。

其中，参数max_routine_load_task_concurrent_num是指每个routine load作业最大并发执行的task数。

解决方案

鉴于此，有三个方向值得一试。

• 首先得考虑kafka的分区数是否合理，如果kafka过多 ，可以考虑缩小分区数对齐be节点个数 ，或者用多个routine load来接收同一个kafka不同分区的数据；
• 其次，调整参数max_routine_load_batch_size
  ，增加每次routine load接入的数据量；
• 最后扩容BE节点个数 ，再次基础上再去调整上面的参数。

辅助

楼下的日志是截取于BE日志文件里的一段内容，从中可以分析每次接收的数据量以及耗时。

data_consumer_group.cpp:131] consumer group done: 41448fb1a0ca59ad-30e34dabfa7e47a0. consume time(ms)=3261, received rows=179190, received bytes=9855450, eos: 1, left_time: -261, left_bytes: 514432550, blocking get time(us): 3065086, blocking put time(us): 24855