免费 AI “神器”系列第五弹:斯坦福洗碗机器人突然爆火,字节版DALL·E登上开源榜单前三|钛媒体AGI

AI的潜力究竟有多大?

图片来源:unsplash

图片来源:unsplash

近期,生成式人工智能(AIGC)领域又涌现出多款创意十足的新应用。

今天,钛媒体AGI梳理了免费 AI “神器”系列第五弹,共五款,其中不少产品又再一次拓宽了我们对AI的想象力。

  • 斯坦福 AI 机器人框架技术——UMI
  • 字节版DALL·E文生图模型——SDXL-Lightning
  • 在线试衣服神器——OOTDiffusion
  • 高质量动画生成模型——AnimateLCM-SVD-xt
  • “全能”视频生成大模型——VideoPoet

1、斯坦福 AI “螃蟹”洗碗机器人技术——UMI

继斯坦福炒虾机器人爆火全网之后,斯坦福大学再出新的“洗碗机器人”,引发关注。

产品信息:UMI 是由美国斯坦福大学团队开发的一个 AI 机器人数据收集和策略学习框架,通过手持式夹持器和精心设计的接口进行数据收集,可以将人类在复杂环境下的操作技能直接转移给机器人,无需人类编写详细的编程指令。

简单来说,UMI 就是通过人类操作演示然后收集数据,直接转移到机器人身上,使得机器人能够快速学习新任务。

产品功能:UMI 技术涵盖技能转移、数据收集、多平台部署、提高机器人操作能力、快速适应新任务、降低机器人学习成本等新亮点和功能,提供了一个便携、直观、低成本的数据收集和策略学习框架,允许直接让人类演示转化为有效的视觉运动策略。

相比传统机械臂遥控操作,UMI 在动态、精确、双手操作和长期视角等方面,能更快实现 AI 机器人替代人类任务效果。

项目及演示:https://umi-gripper.github.io

GitHub:https://github.com/real-stanford/universal_manipulation_interface

2、字节版DALL·E——SDXL-Lightning开源文生图模型

产品信息:SDXL-Lightning是一款由字节跳动开发的开源免费的文生图模型,能根据文本快速生成相应的高分辨率图像。

产品功能:用户在SDXL-Lightning上输入提示词,然后选择推理步骤(选择范围为1步—8步),等待数秒即可生成一张高清图像。

与以往的文生图模型相比,SDXL-Lightning的生成速度有显著提高,能够在最少步骤内完成文本到1024px分辨率图像的生成,适用于需要快速响应的应用场景。

SDXL-Lightning的生成效果图

SDXL-Lightning的生成速度之所以能够显著提升,主要是因为它通过结合渐进式蒸馏和对抗式蒸馏的方法,解决了扩散模型在生成过程中存在的速度慢和计算成本高的问题,同时保持生成图像的高质量和多样性,避免了传统蒸馏方法中存在的图像模糊问题。

使用SDXL-Lightning模型,可在几秒钟之内生成高达1024像素分辨率的图像。目前,该模型已经在Hugging Face平台上开源,并且下载量超过2200次,登上了Hugging Face流行趋势第三名,超越了gemma-2b,仅次于最新的谷歌gemma-7b,以及stabilityai/stable-cascade。

体验地址:https://huggingface.co/spaces/AP123/SDXL-Lightning

3、在线试衣服神器——OOTDiffusion

产品信息:OOTDiffusion是一个高度可控的虚拟服装试穿开源工具,可在线生成不同型号、款式的服装在模特身上的试穿效果。

产品功能:OOTDiffusion支持半身和全身虚拟试穿,用户在主页面选择与自身相似的模特体型,再选好心仪的服装款式,点击“Run”按钮后等待一分钟左右即可生成试穿效果。

OOTDiffusion主页面

OOTDiffusion主页面在右侧展示了模特的试穿效果。

用户可通过OOTDiffusion调整模型路径、缩放比例和采样次数等参数,精细控制虚拟试穿的细节和效果,以满足不同的试穿需求和偏好。

如未来推广开来,OOTDiffusion想必会成为网购爱好者的心头好。另外,线上服装品牌也可借其生成不同款式衣服的模特宣传图,节省一笔宣传经费。截至发稿,OOTDiffusion在Github上已累积988颗星。

体验地址:https://ootd.ibot.cn/

4、高质量动画生成模型——AnimateLCM-SVD-xt

产品信息:AnimateLCM-SVD-xt是一款能以尽可能少的步骤加速采样生成高保真视频的模型。该模型由来自香港中文大学MMLab、Avolution AI、上海人工智能实验室、商汤研究院的研究人员共同研发。

产品功能:在AnimateLCM-SVD-xt上,用户可输入提示词,并可自由选择推理步骤数、生成视频的宽高尺寸来定制生成视频。AnimateLCM-SVD-xt目前仅需2~8个推理步骤就能生成25帧分辨率576x1024的高质量动画,比传统Stable Video Diffusion(SVD)模型生成速度更快、视频生成质量更高。

VideoPoet生成的视频效果

VideoPoet生成的视频效果

体验地址:https://huggingface.co/spaces/wangfuyun/AnimateLCM

5、“全能”视频生成大模型——VideoPoet

产品信息:VideoPoet是谷歌推出的一款视频生成大模型,主要有文本转视频、图片转视频、视频风格转换、视频修复和视频生成音频五大功能,而且默认生成竖屏方向的视频,迎合了短视频内容的需求。

产品功能:VideoPoet在单一的大型语言模型中集成了多种视频生成能力,能根据不同的任务需求(如文本到视频、图像到视频等)调整其生成过程。每种任务类型都有特定的任务标记指示,以引导模型进行相应的视频生成。

此外,VideoPoet还能通过连续预测的方式生成长视频,即通过在每一步中参考视频的最后一部分(例如最后1秒),然后预测接下来的内容,从而实现视频的延伸生成。谷歌研发团队曾使用VideoPoet制作了一个浣熊去旅行的短视频。

谷歌研发团队曾使用VideoPoet制作了一个浣熊去旅行的短视频。

谷歌研发团队曾使用VideoPoet制作了一个浣熊去旅行的短视频。

VideoPoet曾被外界视为革命性的Zero-shot视频生成工具。值得注意的是,2月22日有消息称,谷歌VideoPoet原项目负责人、卡内基梅隆大学(CMU)计算机学院兼职教授蒋路目前已经加入TikTok。

演示地址:https://sites.research.google/videopoet/

(本文首发钛媒体App,作者|任颖文,编辑|林志佳)

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

16:15

为削减成本,以花旗为首的大型银行继续裁员

16:13

万科拟出售所持物流地产公司普洛斯全部股权?公司未予置评

16:12

东芝据悉计划在日本裁员5000人

16:09

国家发改委:积极稳妥推动低空经济发展意义重大、前景光明

16:07

阿斯麦美股盘前跌超4%

16:06

国家发改委:支撑消费增长的积极因素在增多,消费有望保持平稳升级、稳步向好的发展态势

16:03

美欧称中国存在“产能过剩”问题,外交部:伪命题

15:59

国家发改委:加快推进《民营经济促进法》立法进程,从制度和法律上把对国企民企平等对待的要求落下来

15:57

国家能源局:3月份全社会用电量同比增长7.4%

15:56

国际货币基金组织:美国财政立场为全球带来风险

15:54

外交部:德国总理朔尔茨访华,中德一致同意继续加强战略沟通

15:53

深圳第二季度计划入市商品房项目26个

15:52

国家发改委:今后几个季度产能利用率有望逐步回升,认为出口商品多就是产能过剩站不住脚

15:50

铠侠据悉最早年内上市融资,瞄准AI芯片需求增长

15:49

交易员减少对英国央行的宽松押注

15:46

国家发改委:一季度净出口拉动作用增强,贡献率从上季的-3.1%转为14.5%

15:44

国家发改委:已研究起草支持国家重大战略和重点领域安全能力建设的行动方案

15:42

国家发改委:研究扩展投贷联动试点合作银行范围,引导银行持续加大对民间投资项目的融资支持力度

15:40

理想辟谣“出海最新进展”背后:海外市场坚持自营,计划四季度将L9交付中东市场

15:38

香港暂停进口匈牙利贝凯什州禽肉及禽类产品

扫描下载App