河南大学人工智能学院青年学者论坛

论坛时间：2022年8月24日 10:00-11:00

论坛方式：腾讯会议（271-536-127）

报告题目：

分布式大数据处理系统中高效作业调度算法研究

报告学者：

彭青蓝  博士（重庆大学）

摘要：

随着云计算、大数据、人工智能等新一代信息技术快速发展，数据已成为数字时代的基础性战略资源和革命性关键要素。尤其近年来，互联网业务发展过快造成用户与数据量激增，导致业务故障频发。在这种，异地多活分布式架构成为大数据处理平台实现高可用、可靠而的主流选择。然而，数据异地分布、有限传输带宽和大规模异构计算节点对作业调度算法提出了新的挑战。因此，面向分布式大数据处理系统中的高效作业调度问题引起了研究人员的广泛关注。

本次报告聚焦上述环境中的作业调度与任务指派问题，报告主要讨论如下几个方面的工作：1）Batch内作业执行顺序决策，使用数据块跨域传输率估计理想作业执行时长，并通过进化计算方法对作业粒度的执行顺序进行快速求解；2）计算核心的二分上界快速分配，将核心分配问题转化为给定截止时间是否存在可行解的查询问题，并通过二分上界法实现对作业核心的高效分配；3）基于热点检测的多核心任务指派，对于作业任务在指定核心集合上的指派问题，设计具有不同复杂度和效果启发式算法，并在运行时根据作业到核心集合的映射查询频率升高逐步提升优化级别，加速搜索收敛。

个人简介：彭青蓝，男，工学博士。2018年硕士毕业于浙江大学。2022年6月博士毕业于重庆大学，软件工程专业，软件理论与技术重庆市重点实验室。主要致力于云计算、边缘计算和服务计算的相关研究工作，研究方向包括云边环境中的任务调度和分发、资源分配与整合，智能边缘服务的编排、放置和迁移等。近年来，发表学术论文20余篇，其中第一/通讯作者身份共 12 篇，CCF推荐论文 9 篇，谷歌学术引用量220+。