使用 Aim,高效管理我们的炼丹实验

点击下方卡片,关注 AIZOO 公众号

AI 重磅干货,第一时间送达

喜欢就关注 AIZOO 吧!

在我们炼丹的时候,经常面临需要做多组实验,但是实验结果又不好管理的情况。今天看 Github 的时候,发现了一个不错的机器学习实验管理工具,可以很方便的集成进 PyTorch、 TensorFlow 和 XGBoost 等知名的训练框架。

废话不说,先上链接:

https://github.com/aimhubio/aim

Aim 的 logo 和介绍如下:

098c99990ce74481684722938b7bf714.png

翻译过来就是:Aim 记录你的训练过程,还可以用很漂亮的 UI 界面来比较多组实验,另外,还有 API 工具去用代码查询多组实验记录。

介绍

Aim 是一个开源、自托管的 ML 实验跟踪工具。Aim 擅长跟踪大量(1000 次级别)运行,可以用高性能和漂亮的 UI 进行训练结果的查看和比较。

您不仅可以通过 UI 使用 Aim,还可以通过代码查询训练记录,以实现自动化分析。Aim 的使命是让 AI 开发工具大众化。

看官方展示的动图,管理页面的确挺酷炫的。

e6be517bb1b7e66d4811f741449bde40.png

目前  Aim 已经集成了多个知名的机器学习和深度学习训练框架,包括 PyTorch、TensorFlow、Keras、XGBoost。

5e41fc32250d7ea20f1665b0a0f6f29f.png

‍安装和使用

Aim 的安装和使用真的挺简单的。元峰也安装使用了一下,的确简单。

step1 安装

pip3 install aim

step2 把 Aim 插入训练代码

Aim 可以很简单的插入 PyTorch、TF 等框架,并实现了很多插件。以 PyTorch 为例,示例代码:

from aim import Run, Image, Distribution
  
# Initialize a new run
run = Run()

# Log run parameters
run["hparams"] = {
    "learning_rate": 0.001,
    "batch_size": 32,
}

# Log artefacts
for step in range(1000):
    # Log metrics
    run.track(loss_val, name='loss', step=step, context={ "subset": "train" })
    run.track(accuracy_val, name='acc', step=step, context={ "subset": "train" })
  
    # Log images
    run.track(Image(tensor_or_pil, caption), name='gen', step=step, context={ "subset": "train" })

    # Log distributions
    run.track(Distribution(tensor), name='gradients', step=step, context={ "type": "weights" })

step 3 打开 UI 界面

在训练代码所在的目录,打开终端,直接aim up

然后在浏览器输入它给出的 访问地址,在浏览器打开,就可以看到页面了, Aim提供的工具还挺多的。

例如,指标管理:

5c73d9d4af37204523803465a0502931.png

图片可视化:‍

7f3db6a36b405fb2fc408df6d4ba2b8d.png


参数可视化:

7cd49ab3f0cf69a9d02246c6ed0bd151.png

我的实验

因为早晨时间有限,我只在 PyTorch 上进行了一个简单的实验,插入的代码也很简单:

run.track(loss, name='train_loss', step=batch_idx, context={ "subset": "train" })

只记录了一个 loss 的变化。

e5296a15b16428616b9cc796819ec760.png

这个工具真的挺智能的,如果我们启动多次训练,它会自动的记录多组实验。例如,我启动了 2 次训练,可以看到它自动的记录了 2次 实验的结果。9616041a910d79ca63b57c085268777a.png

其他的机器学习管理工具列表:

除了本文介绍的 Aim 外,还有一些知名的 AI 实验管理工具,打开可以自行在 Github 查看。

  • wandb.ai

  • comet.ml

  • neptune.ai

  • allegro trains

  • mlflow

  • guild.ai

  • sacred

  • test-tube

  • tensorboard

时间有限,我要去上班搬砖了,今天的分享先简单一些,抱歉~

88fa5f285ed6164658f43ab45049c7c2.png

欢迎扫描下方的二维码添加小助手微信,邀请您加入我们的微信交流群。

群里有多位清北复交、BAT、AI独角兽大牛和众多深度学习er在一起愉快的交流技术,有任何问题,都可以咨询大家,欢迎你的加入哦。

0f15b77d28041c30ffda19f013679b33.png

 添加小助手微信,邀您进 AIZOO 技术交流群

听说点个在看的人运气都很好~

u010900574
关注 关注
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
MW-ISPNet:这是MW-ISPNet的官方PyTorch工具。 我们的团队在2020年AIM学习图像ISP挑战赛(ECCVW 2020)中获得了优胜奖
03-06
微波ISP网 这是MW-ISPNet的官方PyTorch工具。 在“ AIM 2020学习图像ISP”挑战赛(ECCVW 2020)中,我们的团队获得了优胜奖。 从查看更多详细信息。 下载和 。
YZ-AIM_canopen_V15资料.zip
12-25
【YZ-AIM_canopen_V15资料.zip】这个压缩包文件包含了有关YZ-AIM设备与CANopen通信协议的详细资料,适用于对CANopen协议有需求的工程师或开发者。以下是相关的重要知识点: 1. **CANopen协议**:CANopen是基于CAN...
Python库 | aim-2.0.27rc5.tar.gz
04-06
资源分类:Python库 所属语言:Python 资源全名:aim-2.0.27rc5.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059
AIM库存管理系统学习教案.pptx
09-29
AIM库存管理系统学习教案.pptx
python多版本运行、python中shell命令运行、ImportError: cannot import name run
u010879745的博客
06-02 1439
使用pythonpython3命令分别运行Python 2.x或Python 3.x, 如 python中调用shell命令,使用 os.system(“dexplorer -w”) shell中调用python命令行 python3 -c “import cv2;” 「Python」6种python中执行shell命令方法 - 子谦0618 - 博客园 https://www.cnblogs.com/wrxblog/p/9752412.html (33条消息)python调用shell命令_pytho
常用邮箱后缀总结,常用邮箱域名信息汇总
热门推荐
devin_hugh的博客
11-10 35万+
常用邮箱后缀总结 外国邮箱后缀分类总结如下: 美国常用邮箱后缀@netzero.net,@twcny.rr.com,@comcast.net,@warwick.net,@comcast.net,@cs.com,@verizon.net 德国常用邮箱后缀@t-online.de,@multi-industrie.de 法国常用邮箱后缀@wannado.fr,@mindspring.com,@excite.com,@club-internet.fr 日本常用邮箱后缀@yahoo.co.jp,@candel.co
AIM319 | 使用基于网页的可视化界面构建、管理和扩展机器学习开发
just2gooo的博客
11-24 37
机器学习正推动各行各业的发展和创新,然而,构建机器学习模型却是一个既复杂又具有迭代性的工作流程。亚马逊云科技为此提供了SageMaker Studio,一个通用的集成开发环境(IDE),旨在简化这一过程。SageMaker Studio为机器学习的整个生命周期,从数据准备到训练、评估、部署和监控,提供一个单一界面。SageMaker Studio有助于对实验进行管理,通过追踪并在各个运行期间比较指标。它还支持实时编辑和笔记的协作功能。
RNN和LSTM初级配方炼丹对比实验(Keras)
hehedadaq的博客
04-07 953
RNN和LSTM初级配方炼丹对比实验(Keras) 文章目录RNN和LSTM初级配方炼丹对比实验(Keras)参考教程:前言RNN的基础知识实验部分:实验描述:数据集:LSTM-40-mnist-Code:实验内容:实验结果:表格分析:训练过程记录 参考教程: 一、莫烦大佬的教程: https://morvanzhou.github.io/tutorials/machine-learning/ke...
探索前沿代码托管平台:GitCode与AimHub.io的完美结合
最新发布
gitblog_00074的博客
03-21 381
探索前沿代码托管平台:GitCode与AimHub.io的完美结合 项目地址:https://gitcode.com/aimhubio/aim 项目简介 AimHub.io 是一个致力于提供高效、安全的开源软件开发协作平台,而GitCode 则是 AimHub.io 的代码托管服务,它提供了类似于 GitHub 的功能,但具有独特的特性和服务。这两个项目的结合,为开发者们提供了一个全新的、本土化的...
ISO_IEC_18598-2016自动化基础设施管理AIM)系统国际标准解读(一)
NWVDI的博客
02-28 526
ISO_IEC_18598-2016是关于信息基础设施自动化管理的国际标准,定义了自动化基础设施管理系统的功能要求与建议、数据交换格式、应用价值。适用对象是物业业主和基础设施管理者,以及AIM解决方案的供应商网络、基础设施管理者和IT流程经理。
AIM库存管理系统PPT学习教案.pptx
10-01
AIM库存管理系统PPT学习教案.pptx
【word版本】AIM2000简明使用教程.pdf
11-23
AIM2000简明使用教程》是一份关于AIM2000软件的详细指导文档,适用于初学者和专业人士。AIM2000是一款用户友好的原子间相互作用...通过掌握这份简明教程,用户可以高效使用AIM2000进行各种复杂的计算和可视化操作。
AIM.rar_AIM_matlab_processing
07-14
AIM/matlab/digital processing
使用混合AIM-PO技术对大型复杂平台上安装的天线进行高效分析
03-31
使用混合AIM-PO技术对大型复杂平台上安装的天线进行高效分析
python pip 换源的方法
catalpeak的博客
03-19 116
pip install <aimPackage> -i url
MLFlow︱机器学习工作流框架:介绍(一)
素质云笔记
02-25 1万+
文章目录1 DataOps、MLOps 和 AIOps,你要的是哪个Ops?2 MLFlow2.1 MLFlow优势2.2 MLFlow劣势 1 DataOps、MLOps 和 AIOps,你要的是哪个Ops? 之前的很多研究其实跟工程化是比较脱节的,模型在小环境中工作得很好,并不意味着它在任何地方都可以工作得很好。 各类开源项目其实很大程度上满足了我这样的调包工程师的需求,那么工程化就非常有必要了。 之前《DataOps、MLOps 和 AIOps,你要的是哪个Ops?》文章提到:DataOps、MLO
深度学习分类pytorch_立即学习AI:02 —使用PyTorch进行分类问题简介
weixin_26632369的博客
07-21 749
深度学习分类pytorch 立即学习AI (Learn AI Today) This is the second story in the Learn AI Today series I’m creating! These stories, or at least the first few, are based on a series of Jupyter notebooks I’ve crea...
AIM2000 ver2.0简明使用教程
10-25
AIM2000 ver2.0简明使用教程
apex_aim.py
08-08
apex_aim.py是一个Python脚本文件,用于实现Apex Legend游戏中的准星辅助功能。Apex Legends是一款热门的第一人称射击游戏,而准星是玩家在游戏中瞄准目标的指示器。 apex_aim.py脚本的主要功能是帮助玩家更准确地瞄准敌人。它通过分析游戏的图像,识别敌人的位置和移动,并自动调整玩家视角的方向,使玩家更容易击中敌人。这种准星辅助功能可以大大提高玩家的射击精度和游戏体验。 在脚本的实现过程中,首先需要通过Python的图像处理库,如OpenCV,来捕获游戏窗口的图像。接下来,根据预先定义的敌人外观特征,可以通过图像分析算法来识别敌人在屏幕上的位置和变动。 一旦敌人的位置被检测到,脚本会通过模拟鼠标移动来调整玩家的视角,使准星对准敌人的位置。这种自动瞄准的功能能够让玩家更加轻松地击中目标,提升游戏的竞争力和乐趣。 需要注意的是,apex_aim.py脚本实现的准星辅助功能可能与游戏的官方规定相违背。使用此类脚本进行游戏可能被视为作弊行为,可能导致账号封禁或其他处罚。因此,在使用此类辅助功能之前,请务必了解并遵守游戏的相关规定和道德标准。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
写文章

热门文章

  • 卷积神经网络(CNN)的参数优化方法 65063
  • 理解长短期记忆(LSTM) 神经网络 47647
  • 30分钟学会用scikit-learn的基本回归方法(线性、决策树、SVM、KNN)和集成方法(随机森林,Adaboost和GBRT) 43215
  • 在linux命令行中编译和运行java文件 41500
  • ubuntu14.04+GTX1080+cuda8.0+cudnn5.1+源码编译tensorflow安装教程 23185

分类专栏

  • 深度学习 3篇
  • AIZOO 9篇
  • Java经验 2篇
  • 数据库经验 1篇
  • 神经网络 10篇
  • 软件框架 4篇
  • 机器学习 7篇

最新评论

  • 使用 Aim,高效管理我们的炼丹实验

    三十年1: 这个库windows根本装不了

  • 使用 Aim,高效管理我们的炼丹实验

    m0_67472514: pip下载不了啊,本地安装的话显示错误

  • 简单好用的深度学习论文绘图专用工具包--Science Plot

    NullSite: 'science' is not a valid package style, path of style file, URL of style file, or library style name (library styles are listed in `style.available`)

  • 新手也能彻底搞懂的目标检测Anchor是什么?怎么科学设置?[附代码]

    Serendipity-mx: SSD中有长条的目标,比例应该怎么设置呢

  • 新手也能彻底搞懂的目标检测Anchor是什么?怎么科学设置?[附代码]

    花椰菜2020: 您好,请问可以分享一下代码吗,谢谢

您愿意向朋友推荐“博客详情页”吗?

  • 强烈不推荐
  • 不推荐
  • 一般般
  • 推荐
  • 强烈推荐
提交

最新文章

  • 刚毕业的 AI 大佬们,也开始选择铁饭碗
  • 今日AI:YOLOv5多种backbone、模型压缩代码库开源;FastAI 发布 PyTorch 学习免费书...
  • 今日AI :字节开源了个锤子:帮你高效训练 PyTorch 模型;VFormer:开源的视觉 Transformer 组件...
2022年10篇
2021年3篇
2020年29篇
2017年2篇
2016年14篇
2014年1篇

目录

目录

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

PHP网站源码福田百度网站优化排名塘坑设计公司网站罗湖关键词按天计费盐田百度竞价盐田网络推广松岗外贸网站建设塘坑百度seo东莞品牌网站设计布吉网站制作设计观澜优化西乡网站推广松岗网站推广惠州标王爱联外贸网站制作南联模板制作荷坳网站优化按天计费塘坑网站建设设计坂田网站建设设计南澳seo深圳企业网站设计深圳网站改版龙岗百搜词包盐田百度网站优化福永高端网站设计观澜阿里店铺托管广州阿里店铺运营盐田外贸网站制作大鹏网络推广吉祥网站设计南联关键词排名包年推广歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

PHP网站源码 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化