AI 打造“魔法博物馆”,五分钟完成一件“3D展品”
基于新款文生 3D 基础模型
注意看,这是一家 " 魔法博物馆 ",陈列的展品琳琅满目,甚至还有机甲套装 ……
魔法镜子、水晶法杖 …… 也是一应俱全,仿佛真的进入了魔法世界。
没错,这个 " 博物馆 " 里的 " 展品 " 全都是由 AI 打造的,而且一件只需要五分钟。
来自南洋理工大学、上海 AI 实验室等机构的研究人员,共同推出了新款文生 3D 基础模型3DTopia。
只需要一组文本,它就可以在 5 分钟内生成出多样化、高精度的 3D 模型。
除了 " 魔法博物馆 " 里的展品之外,日常的物品 3DTopia 更是可以精准合成。
比如老板心血来潮想要布置一下办公室,它就能建立出桌椅摆件的样子,甚至桌子上的咖啡也一起 " 准备 " 好了。
就算天马行空一些也没关系,只要人能想到,它可以建立出一套月球的 " 沙盘 "。
那么,该怎么用 3DTopia 来创建 3D 模型呢?
推理分两阶段进行
3DTopia 的推理过程是分为两个阶段进行的,第一个阶段会根据提示词生成点云格式的粗糙模型。
比如当我们让它生成一个机器人模型时,第一阶段得到的模型是长这样的:
第二阶段就是用该团队推出的 theeefiner 对这个粗糙的点云进行细化,并完成上色等操作。
经过优化 theeefiner 的之后,这个机器人模型终于变成了人类熟悉的样子。
所以,实际操作过程也需要对这两部分用到的工具分别进行部署。
首先拉取 3DTopia 的文件,然后用 conda 创建虚拟环境并完成安装,接着还要安装另一份教程部署第二阶段要用到的 threefiner。
部署完成之后,还得到 HuggingFace 上下载一个 checkpoint 文件并放到指定目录。
整个过程难度倒也不算大,但是对于小白来说操作起来可能也得费一番功夫。
所以,如果这个部署过程看上去过于繁琐,这里还有一份大神改编的 Colab 笔记。
利用这份笔记,只需要修改其中的提示词和文件名,部署过程则是一键完成,不过实测需要选择 A100 才能完美运行。
这份笔记将第二阶段拆分成了两个子步骤,所以部署完之后一共需要运行三段代码,修改提示词的方式如下图。
其中 stage1 生成的文件名可以点击左侧的文件夹图标,就可以在 3DTopia - results 目录下找到,stage1 目录下同时还会生成初稿的预览视频。
最终的成品模型,则是默认存在了 stage2 目录中。
不过需要注意的是,目前笔记的第 2-2 步存在一处小错误,运行之前需要在 threefiner 前加上一个英文感叹号,否则无法正常运行。