一种用于云计算系统的作业调度方法技术方案
发布时间：2022-11-09 11:14:26 所属栏目：云计算 来源：
导读： 本发明专利技术公开一种用于云计算系统的作业调度方法，方法中采用的系统包括全局作业队列、子作业队列、作业调度器和与子作业队列对应的虚拟机，所述全局作业队列接收到达系统的作业，所述作业调度器将全局作业
|
本发明专利技术公开一种用于云计算系统的作业调度方法，方法中采用的系统包括全局作业队列、子作业队列、作业调度器和与子作业队列对应的虚拟机，所述全局作业队列接收到达系统的作业，所述作业调度器将全局作业队列中的作业调度至合适的子作业队列中排队，等待虚拟机执行，所述作业调度方法基于先进先出工作方式，其中，调度规则为：当作业到达全局作业队列时，只有当子作业队列剩余缓存空间容量大于0，或作业最大等待分配时延小于虚拟机正在执行作业的最小剩余执行时间，作业才会等待被调度到子作业队列，否则，该作业将被丢弃。本发明专利技术的作业调度方法能提高系统资源利用率，同时节省了作业请求者的时间，提高了云计算系统的服务质量。 全部详细技术资料下载 【技术实现步骤摘要】 【专利摘要】本专利技术公开，方法中采用的系统包括全局作业队列、子作业队列、作业调度器和与子作业队列对应的虚拟机，所述全局作业队列接收到达系统的作业，所述作业调度器将全局作业队列中的作业调度至合适的子作业队列中排队，等待虚拟机执行，所述作业调度方法基于先进先出工作方式，其中，调度规则为：当作业到达全局作业队列时，只有当子作业队列剩余缓存空间容量大于0，或作业最大等待分配时延小于虚拟机正在执行作业的最小剩余执行时间，作业才会等待被调度到子作业队列，否则，该作业将被丢弃。本专利技术的作业调度方法能提高系统资源利用率，同时节省了作业请求者的时间，提高了云计算系统的服务质量。【专利说明】—种用于云计算系统的作业调度方法 本专利技术涉及云计算领域，具体涉及。 技术介绍 云计算作为一种新兴的计算模式，具有海量的处理存储能力，且具有高效、虚拟和廉价等特点，因此得到了商业界以及学术界的高度关注。云计算系统可以部署在廉价的普通服务器上，通过网络为用户提供不同的服务，并高效地执行和管理用户提交的各种作业。而作业调度算法是否优良影响着云计算的执行效率，优秀的作业调度算法可以降低作业的调度时间，提高系统的资源利用率，因此云计算的核心问题是怎样达到高效的作业调度和资源分配。 常见的作业调度算法有三种:先进先出的作业调度算法、Facebook开发的基于保证大作业运行的公平份额的作业调度算法、Yahoo开发的基于容量的计算能力的作业调度算法。这些云计算作业调度方案存在着不足:没有考虑各作业队列剩余缓存空间、作业所能容忍的最大等待分配时延和虚拟机当前执行作业的剩余执行时间，使得作业不能在其所能忍受的等待时间内被分配的情况下，仍然要浪费时间等待。这样，该作业不仅占用了系统资源，降低了系统的资源利用率，还浪费了作业请求者的时间，使得用户体验不好。 技术实现思路 本专利技术正是基于上述技术问题，提出了，提高云计算系统的资源利用率和服务质量，采用的技术方案如下:，方法中采用的系统包括全局作业队列、子作业队列、作业调度器和与子作业队列对应的虚拟机，所述全局作业队列接收到达系统的作业，所述作业调度器将全局作业队列中的作业调度至合适的子作业队列中排队，等待虚拟机执行，所述作业调度方法基于先进先出工作方式，其中，调度规则为:当作业到达全局作业队列时，只有当子作业队列剩余缓存空间容量大于0，或作业最大等待分配时延小于虚拟机正在执行作业的最小剩余执行时间，作业才会等待被调度到子作业队列，否则，该作业将被丢弃。 传统的先进先出调度方法，没有考虑各子作业队列剩余缓存空间容量、作业所能容忍的最大等待分配时延和虚拟机当前执行作业的剩余执行时间，使得作业不能在其所能忍受的最大等待时间内被分配的情况下，仍然要浪费时间等待分配，占用系统资源，降低系统资源利用率，浪费作业请求者的时间。而本专利技术增加的作业调度规则使得，在各子作业队列剩余缓存空间为0且作业最大等待分配时延小于各虚拟机中正在执行作业的最小剩余执行时间时，该作业不会继续等待被分配，而是直接被丢弃，释放该作业占用的系统资源，提高了系统资源利用率，同时节省了作业请求者的时间。 作为优选，所述最大等待分配时延不大于作业与该作业相邻下一个作业到达全局作业队列的时间之差。 这样，在该作业相邻下一个作业到达之前，该作业必须被处理，要么被调度，要么被丢弃，这样能避免某一作业长时间占用系统资源，造成其后的作业没有资源可利用。 作为优选，本专利技术进一步包括，当作业到达全局作业队列时，读取该作业端到端时延要求，当端到端时延要求能被满足时，该作业才会等待被调度到子作业队列，否则，该作业将被丢弃。 本专利技术中，端到端时延与计算机网络中的端到端时延概念及含义相同，也就是作业从全局作业队列传输到子作业队列所需要的时间。当作业的时延要求不能被满足时，即作业的时延要求小于作业从全局作业队列传输到子作业队列所需要的时间时，该作业也不会继续等待被分配，这样就可以进一步释放系统资源，提高资源利用率和服务质量，改善用户体验。 作为优选，本专利技术进一步包括，根据作业被丢弃的不同情况向用户返回作业被丢弃的原因，具体为:当子作业队列剩余缓存空间容量为0，且作业最大等待分配时延小于虚拟机中正在执行作业的最小剩余执行时间时，向用户返回“队列满”信息；当作业的端到端时延要求不能被满足时，向用户返回“超时”信息。 通过向作业请求者返回作业被丢弃的原因，使得用户能实时掌握作业运行情况，并能够根据反馈消息决定接下来的动作，包括重新提交作业或者放弃执行作业云计算调度系统，提高了服务质量，改善了用户体验。 作为优选，本专利技术进一步包括，计算每个子作业队列的前置作业执行时间之和，将全局作业队列中的作业调度到，前置作业执行时间之和最短的子作业队列中排队。 某些子作业队列排队的作业较少，但是其中的某些作业却需要很长的执行时间，若忽视这点，直接将作业安排到作业较少的子作业队列中，会导致作业等待时间不合理，作业调度效率低等问题。而本专利技术通过计算子作业队列的前置作业执行时间之和，即各子作业队列中虚拟机正在运行作业的剩余执行时间与排队作业的执行时间之和。然后将符合被调度规则的作业调度到子作业队列的前置作业执行时间之和最短的子作业队列中，减少了作业的等待时间，提高了作业调度的效率和云计算系统的服务质量。 具体地，本专利技术的包括以下步骤:51.作业到达全局作业队列；52.读取该作业的端到端时延要求，分配作业编号，设置该作业能容忍的最大等待时延，估算该作业的执行时间；53.判断是否有子作业队列剩余缓存空间容量大于0，若是，则执行S4，若否，则执行 S8 ；54.计算各子作业队列的前置作业执行时间之和；55.判断该作业是否满足端到端时延要求，若是，则执行S6，若否，则执行S7;56.该作业进入前置作业执行时间之和最短的子作业队列，结束本次调度；57.丢弃该作业并发送“超时”信息给作业请求者，结束本次调度；58.判断最大等待分配时延是否大于虚拟机正在执行作业的最小剩余执行时间:若是，则执行步骤S9，若否，则执行步骤SlO ；59.该作业等待最小剩余执行时间后，执行步骤S4；S10.丢弃该作业并发送“队列满”信息给作业请求者，结束本次调度。 其中，步骤S2中估算作业执行时间的方法如下:设作业的大小为F，占用的云计算系统资源为C，则该作业的执行时间估计为t，则t满足，其中云计算系统资源C为一个256兆内存的虚拟中央处理器。 作为优选，所述步骤S2中的作业编号在该作业完成之前是唯一不变的。 本专利技术为作业建立一个作业编号，该作业编号负责封装作业和记录信息，在作业期间保证作业编号唯一不变，以便跟踪作业执行状态与进程。 具体地，所述子作业队列剩余缓存空间容量、各虚拟机中当前执行作业剩余执行时间以及各子作业队列的前置作业执行时间之和是通过作业调度器监控计算的。 作为优选，本专利技术中所述全局作业队列的长度满足:所述作业调度器完成全局作业队列所需时间不大于作业与该作业相邻下一个作业到达全局作业队列的时间之差。 对全局作业队列的长度作这样的限定，可以避免因全局作业队列中等待调度的作业数超过全局作业队列所能容纳的最大作业数而导致的作业流失，降低了作业的阻塞率，提闻了服务质量。 【技术保护点】 一种用于云计算系统的作业调度方法，方法中采用的系统包括全局作业队列、子作业队列、作业调度器和与子作业队列对应的虚拟机，所述全局作业队列接收到达系统的作业，所述作业调度器将全局作业队列中的作业调度至合适的子作业队列中排队，等待虚拟机执行，所述作业调度方法基于先进先出工作方式，其特征在于，调度规则为：当作业到达全局作业队列时，只有当子作业队列剩余缓存空间容量大于0，或作业最大等待分配时延小于虚拟机正在执行作业的最小剩余执行时间，作业才会等待被调度到子作业队列，否则，该作业将被丢弃。 （编辑：财气旺网 - 海宁网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐