谷歌开源SEED RL强化学习框架，训练成本降低多达80%
ccwgpt 2025-03-20 12:52 13 浏览 0 评论
智东西（公众号：zhidxcom）编 | 韦世玮
智东西3月24日消息，美国当地时间3月23日，谷歌开源了一个名为SEED RL的强化学习（RL）框架，能够将人工智能（AI）模型训练扩展到数千台机器，有助于在一台机器上以每秒数百万帧的速度进行训练，并将训练成本降低多达80%。
这一强化学习框架的开源，也将为那些AI创企和小型AI实验室创造一个低成本、公平的竞争环境。
据了解，该研究论文已于2019年10月15日提交在预印本平台arXiv，并在今年2月11日进行了最新修订，名为《SEED RL：具有加速的集中推理功能的可扩展且高效的Deep-RL（SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference）》。
论文链接：
https://arxiv.org/abs/1910.06591
一、为何要研发并开源RL框架？
实际上，就现阶段而言，在云端训练复杂的机器学习模型十分昂贵。
据研究报告数据，华盛顿大学（University of Washington）的Grover专为生成和检测假新闻而设计，该模型在两周的在训练中共花费了2.5万美元；OpenAI训练其GPT-2语言模型，每小时需花费256美元；谷歌训练其BERT双向转换器模型，预估也花费了6912美元。
而这些模型前期的训练成本，对一些大型AI实验室或科技巨头来说也许不足为提，但对于许多的AI创企和小型AI实验室而言，却带来了压力。
二、SEED RL的特点与性能
基于谷歌的TensorFlow 2.0框架，SEED RL的特点是能通过集中模型推理，来利用图形卡和TPU（张量处理单元）。
为了避免数据传输瓶颈，SEED RL还使用学习器组件来集中执行AI推理，而该组件也使用来自分布式推理的输入来训练模型。
此外，目标模型的变量和状态信息将保持在本地，并将每个环境步骤的观察结果发送给学习器组件。同时，由于该模型使用了基于开放源代码通用RPC框架的网络库，因此它的延迟也将保持在最低水平。
SEED RL的学习器组件能够扩展到成千上万个核心，例如在Cloud TPU上最多可扩展到2048个，而参与者的数量可扩展多达数千台机器。
同时，一种名为V-trace的算法可从中采样动作的分布，而另一种名为R2D2的算法则根据该动作的预测未来值来选择动作。
三、如何评估SEED RL性能？
为了评估SEED RL，谷歌研究团队在常用的Arcade学习环境、几种DeepMind实验室环境和谷歌足球环境中，对SEED RL进行了基准测试。
研究人员表示，他们利用SEED RL成功地解决了谷歌足球任务，并使用64个云TPU核实现了每秒240万帧的帧数，比以前最新的分布式代理提高了80倍。
“这大大缩短了挂钟时间，实现了显著的加速效果。同时，由于加速器的每次操作成本比CPU低几个数量级，因此模型实验的成本也实现了大幅降低。”在研究人员看来，SEED RL和提交的测试结果表明，在利用加速器方面，强化学习再次超越了深度学习的其他领域。
文章来源：VentureBeat
相关推荐
- NestJS入门教程系列一
-
介绍Nest（NestJS）是用于构建高效，可扩展的Node.js服务器端应用程序的框架。它使用渐进式JavaScript，内置并完全支持TypeScript（但开发人员仍然能够使用JavaScrip...
- 【推荐】一个网盘资源搜索与转存工具，支持移动端与PC端!
-
如果您对源码&技术感兴趣，请点赞+收藏+转发+关注，大家的支持是我分享最大的动力！！！项目介绍CloudSaver是一个基于Vue3和Express的网盘资源搜索与转存开源实用工具。它支持...
- Appium原理精讲
-
目前使用Appium新版本和旧版本的企业数目都很多，而两个版本的安装过程和api的使用又有较大的区别。但是无论表面上的东东如何变化，内部原理都是一样的。在这里我给大家介绍一下appium的核心，增进大...
- Kubernetes最小部署单元Pod
-
一、Kubernetes与Pod简介在当今云计算和容器化技术盛行的时代，Kubernetes已然成为容器编排领域的中流砥柱。它是一个开源的容器编排平台，由Google基于其内部使用的Bo...
- 最常用的四种跨域解决方案
-
前置知识什么是跨域？浏览器发送的请求地址（URL）与所在页面的地址不同（端口/协议/域名其一不同）。简言之，浏览器发出的请求url，与其所在页面的url不一样。此时，同源策略会让浏览器拒收服务器...
- Bolt.New —— 全栈AI Web自动编程
-
Bolt.New是由StackBlitz公司推出的，全栈AI工具，代码编辑、运行、部署，通通一站式搞定。它使用WebContainers技术，无需任何本地安装或配置，在浏览器中，就可以运行完整的No...
- Nodejs Express新手教程&高手进阶
-
NodejsExpress新手教程&高手进阶Express是一个NodeJS平台的框架，主要用于构于Web服务器项目。本文将通过示例介绍适合新手入门的Express基础使用，以及高手进阶知识，如：c...
- Express.js 创建Node.js Web应用
-
Express.js是一个基于Node.js的Web应用框架，框架的设计目的是构建应用的架构和简化应用的开发。框架会解决一些通用的问题，在Express.js中，Express框架会处理如：中间件、代...
- JavaScript 的 Express.js 功能及应用场景详解
-
Express.js是一个基于Node.js的轻量级Web应用框架，主要用于快速构建服务器端应用和API。它的核心功能包括以下关键点：1.路由管理URL路径与HTTP方法映射：通过...
- nodejs的express4文件下载
-
在nodejs的express框架中,下载变得非常简单,就一个方法,res.download()首先express命令行生成项目基本框架:不会的看这里:http://blog.csdn.net/zz...
- Express 系列:快速生成一个项目
-
系列预告本系列将以一个项目入手结合相关技术细节来带领大家一起学习Express这个基于Node.js的后端框架。本文首先将介绍：如何快速的生成一个具有一定结构的Express项目。Express项目结...
- nodejs的express自动生成项目框架
-
nodejs版本为:4.X,express版本为4.X1.全局安装2个模块express、express-generator在命令行输入:npminstall-gexpressnpminsta...
- express开发(一)简介与搭建
-
上周末去了趟上海书城，不愧是上海数得上号的书城，流行的科技书应有尽有，话不多说直接上图。最经典的C语言O(∩_∩)O最流行的java(づ￣3￣)づ超酷的R语言/(ㄒoㄒ)/~~然而，身为一个坚定的前...
- Vue+Echarts可视化大屏系统后端框架搭建(附代码)
-
各位同学，大家好。上节课，前面我们讲解了Vue+Echarts前端部分的设计方法。这节课程，我们开始讲解使用Express进行后端设计的方法。01项目相关理论介绍什么是expressExpress是...
- Shopify电商API接口开发
-
Shopify电商API接口开发上线流程主要包括以下步骤。北京木奇移动技术有限公司，专业的软件外包开发公司，欢迎洽谈合作。前期准备-注册Shopify账号：在Shopify官网注册，用于后续开发测试...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- scrapy框架 (52)
- beego框架 (42)
- java框架spring (43)
- grpc框架 (55)
- 前端框架bootstrap (42)
- orm框架有哪些 (43)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)