
字节笔记本
2026年11月6日 · 约 2 分钟读完
一张照片两秒变 3D 模型,连没拍到的那面都补上
3D 资产的生产成本又被压了一截。Idol(Apache 2.0,850 星)做的事一句话说清:给一张图,输出一个可直接用的 3D 高斯泼溅(3DGS)物体模型:自动去背景、框定物体,最多生成 1,048,576 个高斯点,连照片里没拍到的那一面都补出来。

模型结构按 README 口径:DiT 去噪器 370M 加八叉树解码器 50.8M、高斯解码器 237.3M、BiRefNet 去背景 220.7M、DINOv3 编码器 840.6M 与 FLUX.2 VAE,全量约 1.80B 参数。输出是标准 3DGS 的 ply 文件(32,768 到 1,048,576 个高斯点),任何高斯泼溅查看器都能直接打开。成本同样友好:作者自测消费级显卡 7.2GB 显存即可跑,B300 上 3.4 秒、RTX 4090 上 19.1 秒、RTX 3080(10GB)46.2 秒,「两秒」指的是最快的卡。
对比成绩按作者自测口径:与 TripoSplat、TRELLIS、LGM 同台,Idol 在 SSIM 0.726、LPIPS 0.213、IoU 0.862 与新视角的 DINOv2、CLIP、锐度六项上最佳。注意这是作者自己的评测集,不是第三方独立评测;TRELLIS 的 PSNR 与它接近,Idol 赢的主要是新视角语义一致性与锐度。
两条务实提醒:其一,补出来的背面是模型「猜」的,不是拍到的,商用前要多角度验证;其二,DINOv3 与 FLUX.2-dev 的权重需要单独在 Hugging Face 申请访问权限并登录,不是开箱即用。做产品展示、游戏道具、AR 试穿的独立开发者,3D 资产第一次有了「一张照片、消费级显卡、直接出 ply」的开源选项,不用再建模或买资产库了。


