0
本文作者: 丛末 | 2018-11-11 16:35 |
雷锋网 AI 科技评论编者按:日前,OpenAI 发布了深度强化学习教育资源 Spinning Up,内容包括易懂的深度强化学习代码示例、习题、文档和教程。据 OpenAI 发布的博客称,零基础的深度强化学习「小白」通过自学 Spinning Up,也能快速掌握这一技能,甚至成为该领域的从业者。雷锋网 AI 科技评论对该博文进行编译如下:
OpenAI 发布的深度强化学习教育资源 Spinning Up,旨在让所有人学完后,都能成为一位熟练掌握深度强化学习技能的从业者。 Spinning Up 包含了易懂的深度强化学习代码示例、习题、文档和教程。
OpenAI 认为深度学习——尤其是深度强化学习——将在强大的 AI 技术发展中发挥核心作用。虽然现在有很多可用的资源能让人们快速提升深度学习技能,但是深度强化学习的掌握会更具挑战性。对此,OpenAI 设计了 Spinning Up 这套课程来帮助人们学会使用这些技术,并培养对于这些技术的认知。
OpenAI 开发 Spinning Up 的灵感来源于与其学者和研究员合作的工作,在此过程中,他们发现,如果得到正确的指导和资源,在机器学习方面的经验很少甚至没有经验的人也能够快速提升为这一领域的从业者。深度强化学习的这份 Spinning Up 资源正是考虑到这种需求所开发的,它已被整合到了 2019 年学者和研究员团队的课程(https://blog.openai.com/openai-scholars-2019/)中。
OpenAI 还发现,掌握强化学习的技能能够帮助人们参与到跨学科研究领域中,例如 AI 安全,该领域就涉及到强化学习和其他技能的结合。此外,还有很多人向 OpenAI 寻求从零开始学习强化学习的指导,因而他们决定将所给出的这些非正式建议体系化。
深度强化学习 Spinning Up 包括以下核心内容:
强化学习术语、各类算法以及基本理论的简介;
一篇关于怎样成长为一名强化学习研究者的总结;
一份按照主题排列的重点论文列表;
一份完善记录各类强化学习算法简介以及单独实现方式的代码文档,这些算法包括:原始的策略梯度(VPG)、信任区域策略优化(TRPO)、近端策略优化(PPO)、深度确定策略梯度(DDPG)等;
一些热身练习题。
针对这个项目,OpenAI 有以下支持计划:
高带宽软件支持期:发布后的前三周,OpenAI 将快速处理 bug 修复、安装等问题,以及解决文档中的错误和歧义,并努力简化用户体验,让他们尽可以简单地使用 Spinning Up 自学。
2019 年 4 月的主要核查: 发布 Spinning Up 约六个月后,OpenAI 将基于从社区收到的反馈,认真核查软件包的状态,并公布未来的改进方案。
内部开发的公开发布: OpenAI 如果在与学者和研究员共事时,对深度强化学习中的 Spinning Up 进行了修改,会将修改发送到公开报告中,并立即向所有人开放。
深度强化学习的 Spinning Up 是 OpenAI 新教育倡议的一部分,在这里,他们正「spinning up』地来保证实现《OpenAI 章程》的宗旨之一:「寻找创建一个让全球社区进行协作的方法,从而解决 AGI 的全球化挑战。」他们希望 Spinning Up 可以让更多人熟悉深度强化学习,并以此来推动安全、广泛受益的人工智能的前进。
2019 年 2 月 2 日,他们将在 OpenAI 旧金山分部举办一个深度强化学习 Spinning Up 研修班,包括 3 小时的课程讲解和 5 小时的半结构化开源、项目开发和分组会议——整场会议全部由 OpenAI 技术人员进行支持。我们希望参会者有软件工程经验,并要求他们有学习过机器学习但没有正式的机器学习经验。感兴趣的读者可以填报申请表(https://docs.google.com/forms/d/e/1FAIpQLSdWbG3H3JYC2Vp-bC1yeP1SL_DSi6laLNjW1RjvEEzlA1V6rg/viewform)报名。
OpenAI 还将与其它组织进行合作,来指导人们学会使用这些资源。他们的第一个合作伙伴是加州大学伯克利分校的 Center for Human-Compatible AI (CHAI),二者将在 2019 年初合作举办一个关于深度 RL 的研修班,类似于计划在 OpenAI 举办的 Spinning Up 研修班。
了解深度强化学习算法表现如何的最好方法,就是运行它们。而有了 Spinning Up,这就变得像下面这段代码一样简单:
python -m spinup.run ppo --env CartPole-v1 --exp_name hello_world
在训练的最后阶段,你将获得关于如何从实验中查看数据以及观看受过训练的智能体视频的指导。
Spinning Up 的执行可与 Classic Control、Box2D 和 MuJoCo 任务套件中的 Gym 环境兼容。
另外,考虑到新入门者,OpenAI 为 Spinning Up 设计代码的思路是,使其尽可能地更短、更友好,以及更易于学习。OpenAI 的目标是,用最少的执行步骤来演示理论如何变成代码,规避深度强化学习库中常见的抽象层和模糊层。相比于提高代码可重用性的模块化设计,OpenAI 更看重代码的清晰易读,代码重用仅限于日志记录和并行化工具。Spinning Up 提供的代码都带有注释,这样使用者总是能够明白现在进行到了哪里,并在相应的阅读文档页面上得到背景材料(和伪代码)的支持。
Via: https://blog.openai.com/spinning-up-in-deep-rl/ ,雷锋网 AI 科技评论编译
雷峰网原创文章,未经授权禁止转载。详情见 转载须知。
编辑
重发邮箱 修改邮箱
PHP网站源码吉祥网站定制南山网站改版大运网站定制福田企业网站制作罗湖网页设计光明网站制作南澳模板制作平湖关键词排名包年推广龙岗网站改版塘坑网站优化横岗SEO按天收费平湖网络广告推广丹竹头网站推广大鹏SEO按天收费南澳网站改版布吉网站推广方案福田网站建设龙华网站推广工具福田网站建设设计盐田网络广告推广吉祥SEO按天计费广州seo大运标王荷坳百度爱采购同乐网站改版布吉seo网站推广石岩关键词排名石岩百搜标王观澜百度标王大浪网站优化软件歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运