OpenAI发布Point-E,类似于DALL-E但用于3D建模

2023-08-06 09:23:00 生活常识 投稿:网友

OpenAI 是 Elon Musk 创立的人工智能初创公司,支持流行的 DALL-E 文本到图像生成器,周二宣布发布其最新的图片制作机器 POINT-E,它可以直接从文本提示生成 3D 点云。现有系统(如 Google 的 DreamFusion)通常需要数小时和 GPU 来生成图像,而 Point-E 只需要一个 GPU 和一两分钟。

OpenAI发布Point-E,类似于DALL-E但用于3D建模

3D 建模用于各种行业和应用程序。现代电影大片、视频游戏、VR 和 AR 的 CGI 效果、NASA 的月球陨石坑测绘任务、Google 的遗址保护项目以及 Meta 的 Metaverse 愿景都取决于 3D 建模功能。然而,创建逼真的 3D 图像仍然是一个耗费资源和时间的过程,尽管 NVIDIA 致力于自动化对象生成和 Epic Game 的 RealityCapture 移动应用程序,它允许任何拥有 iOS 手机的人将现实世界的对象扫描为 3D 图像。

文本到图像系统,如 OpenAI 的 DALL-E 2 和 Craiyon、DeepAI、Prisma Lab 的 Lensa 或 HuggingFace 的 Stable Diffusion,近年来迅速流行、臭名昭著和声名狼藉。Text-to-3D 是该研究的一个分支。与类似系统不同,Point-E“利用大量(文本、图像)对语料库,使其能够遵循多样化和复杂的提示,而我们的图像到 3D 模型是在较小的(图像、3D)数据集上训练的对,”由 Alex Nichol 领导的 OpenAI 研究团队在 Point·E 中写道:从复杂提示生成 3D 点云的系统, 上周发布。“为了根据文本提示生成 3D 对象,我们首先使用文本到图像模型对图像进行采样,然后根据采样图像对 3D 对象进行采样。这两个步骤都可以在几秒钟内完成,并且不需要昂贵的优化程序。”

如果您要输入文本提示,比如“一只猫在吃墨西哥卷饼”,Point-E 将首先生成该吃墨西哥卷饼的猫的合成视图 3D 渲染。然后,它将通过一系列扩散模型运行生成的图像,以创建初始图像的 3D、RGB 点云——首先生成粗略的 1,024 点云模型,然后生成更精细的 4,096 点云模型。“在实践中,我们假设图像包含来自文本的相关信息,并且没有明确地限制文本上的点云,”研究团队指出。

这些扩散模型分别在“数百万”个 3d 模型上进行训练,所有模型都转换为标准化格式。“虽然我们的方法在这种评估中的表现比最先进的技术差,”该团队承认,“它在一小部分时间内产生了样本。” 如果您想亲自尝试一下,OpenAI 已在 Github 上发布了该项目的开源代码。

声明:犀牛文库所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系admin@qq.com