张紫宸（Charlie Zhang）

你好，我是张紫宸

我目前在 Even Realities 工作。这是一家由红杉中国、腾讯和美团投资的显示智能眼镜独角兽。

我曾是 Mira（前身为 Halo）的第一位全职员工。Mira 是旧金山的一家 AI 智能眼镜公司，我在种子前轮加入。Mira 获得 660 万美元投资，投资方包括 General Catalyst、Naval Ravikant、Pillar VC、Soma Capital、Village Global 和天使投资人。在 Mira，我主要做语音和记忆系统，让眼镜能把日常对话变成之后用得上的信息，工作涉及实时转写、说话人识别、后端服务和智能体长期记忆。

在此之前，我在 Supercell 的 AI Lab 工作。Supercell 开发了《荒野乱斗》《皇室战争》和《部落冲突》。我做了一套由 LLM 驱动的 NPC 对话系统，角色会根据玩家的互动改变情绪，并发展出不同的剧情。

本科在密歇根大学安娜堡分校读计算机科学，也参加了 LSA Honors。之后曾在卡内基梅隆大学计算机学院攻读硕士，后选择休学。

想聊聊的话，可以发邮件给我：charliezhang325@gmail.com。

项目

Mira Gen 1：拥有长期记忆的 AI 智能眼镜

🏆 最佳扩展现实（AR 与 VR） 🏆. Lightspeed 2026 Game Changers

Mira 是一副不带摄像头的 AI 显示眼镜，可以把日常对话变成可搜索的记忆，并提供实时回答和翻译。眼镜重 39 克，配有双 MEMS 麦克风、双扬声器、私密双光波导显示屏和用于手势操作的智能戒指。我是 Mira 的第一位全职员工，用 Soniox 和 WebRTC 开发语音转文字、语音活动检测和说话人分离，用 TorchServe 和 PyTorch Audio 部署声纹模型，并用 mem0、语义搜索和图检索搭建智能体记忆系统。我还在 AWS ECS 上部署了基于 FastAPI 和 WebSocket 的服务，并配置自动扩缩容。

越简单越好：小语言模型长思维链强化学习中奖励函数的选择

Luning Wang*, 张紫宸*, Junkuan Liu*.

奖励函数决定推理模型更看重答案正确、推理长度，还是两者兼顾。我们用 GRPO 训练 Qwen2.5-3B，对比普通、余弦和动态奖励，看看在大模型上有效的长度惩罚是否也适合小模型。实验中，普通奖励让 MATH500 和 GSM8K 准确率稳定上升；余弦和动态奖励虽然缩短了推理过程，却让准确率下降且更不稳定。

VTMo：基于混合模态专家的统一视觉触觉 Transformer 编码器

张紫宸, Peihao Li, Yuan Cheng.

人会通过观察和触摸来了解物体。VTMo 学习物体外观与触感的共享表征，让自主智能体在与物理世界交互时不只依赖视觉。模型使用共享自注意力、单模态专家和跨模态专家，在双编码器的速度和融合编码器的跨模态推理能力之间做了折中。我们用 InfoNCE 在 Touch and Go 的 3,600 对视觉触觉数据上训练模型。VTMo 在图像到触觉检索任务中达到 57.27% Recall@1，高于冻结注意力基线的 15.11%，所需 FLOPs 也少于 CLIP 式双编码器。

用单步树状思维知识蒸馏训练小语言模型

Anurag Renduchintala*, Adi Mahesh*, 张紫宸*, Zimo Si*, Shangjun Meng*, Samuel Fang*.

ToT 通过探索多条路径并回溯来解决复杂推理问题，但反复调用模型，成本高，也不适合小模型。我们把它压成一个结构化提示，再把 GPT-4o 的输出蒸馏到 SmolLM-360M。在 24 点任务中，单步 ToT 的准确率为 19%，思维链为 7%；用 144 条样本微调后，SmolLM 从 1% 提升到 9%。完整的 GPT-4o 多步 ToT 达到 82%，高于此前 GPT-4 的 74%。

任意二维刚体的推动动力学学习

Art Boyarov*, 张紫宸*.

机器人在家庭和仓库中需要推动不规则物体，不可能为每种形状单独建立物理模型。我们用 Franka Panda 机械臂的仿真数据训练动力学模型，让 MPPI 控制器预测物体被推动后的运动并规划避障路径。在 L、U 和 M 形物体上，受点云网络启发的深层模型比浅层 MLP 更准确，完成推动和避障任务时平均所需步数也更少。

Meowtive：为治愈系游戏打造的自主 AI 角色

🏆 Supercell AI Hackathon 第五名 🏆

Meowtive 是一套用 Unity、LangChain 和 Google Gemini 做的游戏 AI 系统。猫咪角色会按自己的性格、情绪和周围环境决定去钓鱼还是探索，也会主动找玩家聊天，迷路时向玩家求助。长期记忆会记录玩家的喜好，以及猫咪从之前的错误中学到的东西。

GenHint：教你写代码的 AI 编程助手

🏆 最佳开发者工具荣誉奖 🏆. MHacks 17 Hackathon, 2024

GenHint 是一个教学生逐步解决编程问题的 VS Code 扩展，不会直接给出完整答案。它可以把一条注释变成带 TODO 步骤的代码骨架，再逐步解释任务并检查完成后的代码。我们四个人在 24 小时内用 TypeScript、VS Code API、Groq 和 Llama 3 70B 做完项目，随后把它发布到 Visual Studio Marketplace。