小优化,产品愿景,视觉规范,交互和导航大版本
This commit is contained in:
@@ -147,6 +147,44 @@
|
||||
- **chosen_alternative**: 当前资源库使用手动标签 + Prompt 文本搜索
|
||||
- **deferred_reason**: 当前阶段资源量少,手动管理足够;等资源积累到一定量级后再引入自动化
|
||||
|
||||
### [advanced-view-transform] 进阶视角变换 Pipeline(3D 重建 + ControlNet 风格还原)
|
||||
- **status**: deferred
|
||||
- **tags**: 视角变换, 3D重建, ControlNet, Zero123++, TripoSR, InstantMesh, Novel View Synthesis, 手绘风格, IP-Adapter
|
||||
- **recorded**: 2026-04-16
|
||||
- **source_chat**: [视角变换方案讨论与 Zero123++ 集成](view-transform-zero123plus)
|
||||
- **prerequisite**: Zero123++ 基础验证完成、确认视角变换是高频需求后
|
||||
- **related_files**:
|
||||
- art-agent/backend/app/services/view_transform.py
|
||||
- art-agent/backend/app/config.py
|
||||
- art-agent/backend/app/agent/tools.py
|
||||
- **context**: |
|
||||
当前已集成 Zero123++(固定 6 视角输出),但存在两个局限:
|
||||
1. 视角固定(6 个预设角度),无法自定义任意角度
|
||||
2. 手绘风格保持度不够——Zero123++ 更擅长写实/3D 渲染风格
|
||||
|
||||
进阶方案分三个层级:
|
||||
|
||||
A. 更强的多视角生成模型:
|
||||
- Era3D:高质量多视角一致性,建筑类友好
|
||||
- SyncDreamer:同步多视角生成,一致性好
|
||||
- Wonder3D:多视角 + 法线图,精确视角控制
|
||||
|
||||
B. ControlNet 引导的视角变换:
|
||||
- 用 Depth Anything V2 从原图提取深度图
|
||||
- 用 ControlNet(depth/normal 模式)+ 目标视角描述重新生成
|
||||
- 通过 IP-Adapter 注入原图风格保持手绘风格
|
||||
|
||||
C. 最佳质量方案(多步组合 Pipeline):
|
||||
原图 → TripoSR/InstantMesh 3D 重建 → 旋转到任意目标角度渲染灰度/线稿
|
||||
→ ControlNet(canny/depth) + IP-Adapter(原图风格) → 手绘风格新视角图
|
||||
这是质量最高的方案:视角精准 + 风格保真
|
||||
|
||||
实施依赖:
|
||||
- 方案 B/C 需要 ComfyUI 环境(与 hf-inference-endpoints 延期方案关联)
|
||||
- 方案 C 的 TripoSR/InstantMesh 可先在 Replicate 上验证
|
||||
- **chosen_alternative**: 当前使用 Zero123++ 固定 6 视角输出(基础验证阶段)
|
||||
- **deferred_reason**: 先用 Zero123++ 验证视角变换的实际需求频率和用户反馈,再投入进阶方案
|
||||
|
||||
---
|
||||
|
||||
## Completed / Cancelled Items
|
||||
|
||||
Reference in New Issue
Block a user