项目简介
AnimeGamer 是一款基于人工智能的无限动漫生活模拟工具，用户可以通过开放式的语言指令与动态的游戏世界互动。这一项目的核心亮点在于其能够生成连贯的多轮游戏状态，包括动态动画片段（即视频）和角色的状态更新，如体力值、社交值和娱乐值的变化。
例如，用户可以扮演《悬崖上的波妞》中的宗介，探索一个充满活力的虚拟世界；或者让不同动漫作品中的角色相遇并互动，比如《魔女宅急便》中的琪琪和《天空之城》中的帕祖。这些角色不仅能跨越原作界限进行交流，还能学习彼此的技能，创造出独特的故事情节和魔法体验。
技术方法
AnimeGamer 的核心技术基于多模态大语言模型（MLLMs），通过以下三个阶段进行训练和优化：
-
动画片段建模
使用动作感知的多模态表示法对动画片段进行建模，并通过扩散解码器重建视频，同时引入动作强度信息以提高动态表现力。 -
游戏状态预测
利用 MLLM 根据历史指令和当前游戏状态预测下一游戏状态的表示形式。 -
质量增强
在适应阶段对解码器进行微调，进一步提升从 MLLM 预测结果中解码出的动画片段的质量。
这种方法不仅保证了动画片段的流畅性和上下文一致性，还实现了角色状态的实时更新，从而带来更真实的交互体验。
最新动态
- 2025 年 4 月 2 日，研究团队发布了分别在《魔女宅急便》和《悬崖上的波妞》数据集上训练的模型权重，并公开了相关论文。
- 同日，推理代码也已发布，支持低显存环境下的运行（最低只需 24GB VRAM）。
- 此外，研究团队计划在未来推出更多功能，包括交互式生成演示（Gradio Demo）、数据处理管道、训练代码以及混合多部动漫电影训练的模型权重。
快速入门指南
若想尝试 AnimeGamer，可参考以下步骤设置环境并运行代码：
-
克隆项目仓库：
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer -
创建并激活 Python 环境：
conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt -
下载所需模型检查点（Checkpoints），包括 AnimeGamer 和 Mistral-7B 模型，并保存至
./checkpoints文件夹。 -
运行推理脚本生成动画片段及角色状态更新：
python inference_MLLM.py python inference_Decoder.py
用户还可以通过修改 ./game_demo 中的指令来自定义游戏体验。
正文完
