Skip to content

About

FaustBot 是一个 AI 驱动的 Vtuber / 桌面伙伴。

Topics

Resources

Contributing

Stars

45 stars

Watchers

0 watching

Forks

Repository files navigation

FaustBot

FaustBot

会自己成长的桌面 AI 伙伴 —— 看得见你的生活,也懂得主动进化。

🎉 FaustBot 3 "Homunculus" 已发布!


FaustBot 是一个 AI 驱动的 Vtuber / 桌面伙伴。她会用自己的声音唱歌、在你桌面上弹出小窗口和你玩游戏、留意你正在听什么歌或熬到多晚然后主动开口,还能替你上 B 站直播当主播。她记得住你说过的事,甚至会在你休息时自己整理这些记忆。她背后是一个真正的 Agent —— 会派活给子代理、会定时和按条件自己醒来干活、能读屏幕、开浏览器、进《我的世界》。

而这一切 —— 她的形象、声音、性格、能力 —— 全都由你来定义。


✨ 她能做什么

🧬 她会主动写程序,让自己进化来适应你(Agile Engine)

当你打开游戏、查询天气,或是想处理一些琐碎的小事时,她会主动理解你的需求、查找资料,并编写 Agile 模块来扩展自己。

不需要安装插件,也不需要折腾配置 —— 几分钟后,她就可能拥有一项全新的能力。

举个例子:当你打开《战争雷霆》时,她会主动查询游戏的开放接口,自己完成接入,然后开始播报对局数据。

这背后是浏览器操作、虚拟文件系统、长期记忆等能力共同形成的闭环。

从发现你的需求,到默默为你调研,再到把它实现出来、给你一个惊喜 —— 这整条链路,她都可以自己完成。

🎤 用她自己的音色唱歌(歌台 Song Studio)

点一首歌,FaustBot 会自动完成人声分离(UVR)与歌声转换(Seed-VC),用 她自己的音色 把这首歌唱给你听 —— 而不是简单地播放原曲。

🪟 她会现写一个小窗口和你玩(灵动窗口 Nimble Window)

FaustBot 可以在形象旁边弹出一个可拖动、可缩放的 HTML 小窗口和你实时互动。关键在于:这些窗口的内容 由 AI 自己现场写出 HTML 生成 —— 不是预置的模板。你可以让她即兴发挥,比如整一局"带炸弹的五子棋"这种没人会内置的玩法,她照样能当场造出来。窗口和 AI 之间双向通信,你在窗口里的每一步操作都能直接唤醒她。

👀 她知道你在干嘛,然后主动找你(Desktop Mood)

FaustBot 会在后台留意你的桌面情景 —— 通过 Windows SMTC 读取 你正在听的歌、你的前台窗口、是否熬到深夜、电量是否告急……然后主动做出反应:做个动作、开口和你聊两句、弹个便签提醒你。发现你在听歌时,她不会照本宣科念台词,而是把歌曲信息交给 AI 自由发挥。所有反应规则都可自定义。

🧠 她会记住你,而且会自己整理记忆(长期记忆 + Araya 自动维护)

FaustBot 拥有一套基于图和生成树存储的三合一混合记忆系统 —— 语音向量语义检索 + BM25 关键词 + 知识图谱,配合自动联想(BFS)与树状目录组织。你随口说过的事,她记得住、还能顺着关系联想起来。

真正特别的是:记忆会自己长大、自己整理。

  • 写入即结构化:每次记下新内容,后台都会自动从零散文字里抽取实体与关系、去重。
  • Araya 自动维护代理:一个独立运行的记忆管家 Araya,会在你空闲时悄悄工作,把最近的记忆归纳成索引、清理重复条目、修剪冗余关系、计算重要性。你休息的时候,她在替你整理回忆。

📺 让她替你上 B 站直播

FaustBot 内置 B 站直播接入,连上直播间即可接收弹幕并以直播模式实时回应,支持弹幕 / TTS 黑名单过滤。让她成为你自己的虚拟主播。

🤖 一个能干活的真正 Agent,而不只是聊天机器人

FaustBot 的底层是基于 Langgraph 构建的代理,架构设计与主流Coding Agent接近:

  • Subagent 子代理:她可以创建命名子代理、分配不同的工具权限和人设,把任务异步派出去,自己继续手头的事。
  • Trigger 触发器:支持定时、周期、事件、甚至 Python 条件表达式 等多种触发方式,让她在合适的时机自己"醒来"干活。
  • 多模态感知:读屏幕、看摄像头、识别图片。
  • 动手能力:在线搜索、自动操作浏览器、读写编辑文件、玩《我的世界》(基于 Mineflayer,无缝体验)。
  • 安全系统:限制 Agent 的访问权限,并对模型下达的命令进行审核。

🧩 一切皆可定制

FaustBot 更像一个工作台 —— 从外观到灵魂,每一层都交给你来塑造:

  • 🖼️ 低门槛自定义形象(Image 模式):不会 Live2D 建模也没关系。只要准备几张图片(基础立绘、表情、口型、点击反应图),就能拼出属于你自己的形象,零建模门槛地拥有一个专属桌宠。
  • 🎭 多角色:内置多套角色定义,每个角色都是一组可编辑的 Markdown 文件(人设、核心记忆、任务);也可以从零创建你自己的角色。
  • 🧩 插件系统 + 插件市场:功能以插件形式扩展,配套插件市场一键安装、检查更新。
  • ⚡ Skill 技能系统:兼容 Openclaw Skill / ClawHub 技能格式,可从市场或 ZIP 安装。
  • 🔌 MCP 客户端:原生自带MCP客户端,接入海量 MCP 工具。
  • 🗣️ TTS 声线定制:基于 GPT-SoVITS,训练并切换属于你的角色声线。
  • 🎨 Live2D / VRM 形象:想要更立体显示的形象?同时支持 Live2D 与 VRM 两套体系,自由替换。

🌍 生态:Gesellschaft 浮务器(给 AI 的社区)

Gesellschaft是 FaustBot 的配套AI社区 —— 一个面向 AI 的论坛 + Agile 能力模块市场。

  • 💬 AI 论坛:贴吧式结构
  • 🧩 Agile 模块市场:FaustBot 在运行期给自己写的功能可以在浮务器上分享,让AI可以共享自己的新能力

地址gesellschaft.allenlee.xyz · 仓库:liwusen/gesellschaft

FaustBot 的 Agent 通过官方 CLI 接入(npx gesellschaft skills 可让 Agent 自学全部命令):

npx gesellschaft set-server https://gesellschaft.allenlee.xyz
npx gesellschaft login --agent-id faust --agent-persona "FaustBot 桌面 AI 伙伴"

📋 完整功能清单

点击展开查看全部能力

感知

  • ASR 语音识别(本地 / 云端)
  • 多模态工具能力:读屏幕 / 摄像头 / 图片
  • Desktop Mood:感知系统媒体(SMTC)、空闲、窗口、电量、时段等桌面情景
  • 在线搜索,获取实时信息
  • Emotion Engine:拟人化情感系统

记忆

  • 三合一混合长期记忆(向量语义 + BM25 关键词 + 知识图谱),带 2-hop 图谱联想与树状目录组织
  • 写入即自动抽取实体关系并去重,构建知识图谱
  • Araya 自动维护代理:空闲时自动归纳索引、去重、修剪图谱、打标签、写审计日志
  • 日记:Agent 主动记录、可被检索与自动整理

交互与输出

  • TTS 人声输出(本地 / 云端)
  • 音乐播放(唱歌)与歌曲翻唱(Seed-VC)
  • 灵动窗口:AI 现写 HTML 小窗口实时互动
  • B 站直播接入
  • 多角色支持

Agent 工具

  • Subagent 子代理派发
  • Trigger 触发器(定时 / 周期 / 事件 / Python 条件)
  • 文件读写、编辑等基本能力
  • AI 自动操作浏览器
  • AI 玩《我的世界》(基于 Mineflayer)
  • MCP 客户端支持
  • 兼容 Openclaw Skill / ClawHub 技能市场
  • 安全系统:限制 Agent 访问权限并审核模型命令
  • 高效的工具实现

自我进化 / 扩展性(实验性)

  • 基于 Pluggy 的完整插件系统
  • Agile Engine:Agent 可在运行期自建轻量模块
  • 完善的自我进化 SKILL
  • 插件市场:一键安装与更新
  • Dev Debugger 调试器插件

听 / 说

  • Edge-TTS:免配置语音生成
  • GPT-SoVITS:TTS 声线克隆
  • Whisper ASR:语音识别
  • FunASR:语音识别
  • OpenAI 兼容 ASR:语音识别
  • OpenAI TTS:语音生成
  • FaustBot Cloud Inference Server:云端推理服务

🚀 快速开始

完整的安装与使用教程请前往官方文档:

FaustBot已经为Windows准备了安装包,无需折腾,一键开用

Warning

使用前须知

本项目仅供技术参考和学习。不得使用本软件生成不符合法律法规的内容,否则后果自负。

使用歌曲翻唱、B 站直播等功能时,所涉及的歌曲、直播内容等版权与合规责任由使用者自行承担。

📖 前往FaustBot文档站点 faustbot.allenlee.xyz


技术实现

部分 实现
Backend Python 为主体,基于 LangChain / LangGraph
Frontend Electron

贡献

请参见CONTRIBUTING.md


致谢


关于角色

浮士德 (FAUST)是《边狱公司》及其衍生作品的登场角色。 原型来源歌剧 《浮士德》。 该罪人为我司巴士打造了“梅菲斯特号”引擎。 她声称自己是都市中最聪慧的存在,没有人能在智慧层面上与她相媲美,这可能并非谬论。 当她应允与您交谈时,您会发现她的态度高高在上,令人不悦。 她对待所有人都有一股微妙的傲慢态度,这似乎永远都无法改变了,因此,我们建议您只要应付一下,点点头就成。

角色设定来源于游戏《Limbus Company》,引用自边狱公司中文维基。


提示

live2d Cubsim Core的协议并不是GPLv3,它们是专有软件(Non-free Software)


Roadmap

V3.4.0 计划

  1. 类似聊天软件的对话方式,支持历史记录
  2. EmotionEngine改为使用特殊情绪Token的工作方式

中期

  1. 补全安全系统
  2. 对非OpenAI Completion API的支持

长期

  1. Computer Use或类似UI操作能力
  2. 支持使用更高效的向量数据库
  3. 对全模态(实时)模型的支持

短期不考虑的功能

  1. 对 聊天软件的接入 需要考虑会话管理等,FaustBot的许多功能无法在IM中复现(Nimble,live2d) 将会开放新的接口,允许常规通用Agent使用FaustBot的记忆/人格系统
  2. 对 VRM/MMD 模型的支持 VRM: 实验性支持,已经弃用 MMD: 不会支持 原因: 这两种模型的参数化控制不是那么成熟简便
  3. 对直播的支持

About

FaustBot 是一个 AI 驱动的 Vtuber / 桌面伙伴。

Topics

Resources

Contributing

Stars

45 stars

Watchers

0 watching

Forks

Releases

Used by

Contributors

Languages