第四范式恳求模型服务的扩缩容专利提高资源分配精密程度_hth官网下载

产品详细介绍：

　　金融界2024年9月30日音讯，国家知识产权局信息数据显现，第四范式（北京）技能有限公司恳求一项名为“模型服务的扩缩容办法、设备、设备及存储介质”的专利，揭露号CN 118708349 A，恳求日期为2024年6月。

　　专利摘要显现，本揭露触及一种模型服务的扩缩容办法、设备、设备及存储介质。猜测未来词元负载，未来词元负载用于表征与未来一段时间内的悉数恳求对应的输入词元数量和/或输出词元数量；根据未来词元负载和模型服务的当时词元生成速度，确认扩缩容战略，扩缩容战略指示了对模型服务包含的当时服务实例数量进行添加或减缩的数量；依照扩缩容战略对模型服务包含的当时服务实例数量进行添加或减缩。本揭露在对模型服务进行扩缩容时最大极限地考虑了恳求特性，然后可以提高资源分配的精密程度。而且，本揭露可以针对未来负载提早进行资源分配，因此能提早应对立刻就要降临的恳求顶峰或低谷。