AI新闻动态（2025-03-09到2025-03-15)

[ikaijua]

AI新闻动态（2025-03-09到2025-03-15)

欢迎投稿。合作请邮件联系。

目录

AI产品

1. 谷歌发布Gemma 3开源模型
2. 谷歌开放Gemini 2.0 的AI生图能力
3. OpenAI开源AI智能体开发框架
4. 字节跳动发布AI 音效模型SeedFoley，功能已在即梦上线
5. Sesame 发布逼真语音助手 Maya，成功跨越了语音恐怖谷，使语音交互更加自然、情感丰富

机器人

1. 稚晖君的智元机器人发布Vision-Language-Latent-Action (ViLLA) 架构和通用具身基座大模型 GO-1
2. 谷歌发布适用于机器人的LLM——Gemini Robotics
3. 李飞飞团队推出机器人综合性框架BEHAVIOR Robot Suite（BRS）

AI研究

1. Google的Gemini Deep Research功能向免费版用户开放，科研工作利器
   
2. 字节跳动开源MoE优化技术COMET，节省40%的训练成本
3. alphaXiv推出新工具，结合Mistral OCR和Claude 3.7，自动生成博客风格的论文概述

[ikaijua]

2025-03-10 稚晖君的智元机器人发布Vision-Language-Latent-Action (ViLLA) 架构和通用具身基座大模型 GO-1

1. ViLLA 架构通过预测 Latent Action Tokens（隐式动作标记），使机器人能够将人类动作视频转化为可执行的动作序列，从而有效利用互联网上的视频数据。
2. GO-1 大模型基于 ViLLA 架构，整合了视觉、语言、动作、触觉等多模态输入，能够规划具体动作并输出机器人的动作执行序列。
3. GO-1 大模型学习了互联网的大规模纯文本和图文数据、人类操作视频、仿真数据和真机示教数据，具备强大的迁移学习能力。
4. ViLLA 架构由 VLM (多模态大模型) + MoE (混合专家) 组成，其中 VLM 负责场景感知和语言理解，MoE 中的 Latent Planner 负责动作理解，Action Expert 负责动作执行。
5. GO-1 实现了人类视频学习、小样本快速泛化、一脑多形和持续进化等多项突破。
6. 实验结果表明，GO-1 的成功率大幅领先于已有的最优模型，平均成功率提高了 32%。

• B 站视频：稚晖君: 【硬核】我们造了一个跟人一样灵动的机器人！
• 论文链接：https://agibot-world.com/blog/agibot_go1.pdf

媒体文章：

• 机器之心: 稚晖君的「好东西」揭晓！首个通用具身基座模型，机器人告别「看得懂做不来」
• 量子位: 稚晖君机器人“葡萄缝针”神技再现江湖，骑自行车惊呆众人：又抽象又硬核

[ikaijua]

2025-03-13 字节跳动开源MoE优化技术COMET，节省40%的训练成本

1. COMET已应用于字节的万卡训练集群，累计节省数百万GPU小时。
2. COMET通过细粒度计算-通信折叠技术和GPU资源动态分配，压榨MoE专家“摸鱼闲置”的时间，提升训练速度。
3. COMET可在MoE训练框架中像插件一样直接插拔使用，无需侵入性改动，部署灵活，支持主流大模型。
4. COMET的核心在于解决MoE模型中计算与通信的粒度不匹配问题，实现两者高效重叠。
5. COMET引入共享张量依赖解析和自适应负载分配两项关键机制，最小化整体延迟并提升流水线性能。
6. COMET在多个大规模MoE模型中表现出良好的端到端性能，并已开源核心代码，提供Python API。

• Github地址：https://github.com/bytedance/flux
• 论文链接：https://arxiv.org/pdf/2502.19811

媒体文章：

• 量子位: 已节省数百万GPU小时！字节再砍MoE训练成本，核心代码全开源

[ikaijua]

2025-03-11 字节跳动发布AI 音效模型SeedFoley，功能已在即梦上线

1. 用户使用即梦生成视频后，选择「AI 音效」功能，即可生成 3 个音效方案。
2. 该模型能够智能区分动作音效和环境音效，显著提升视频的叙事张力和情感传递效率。
3. SeedFoley模型通过端到端架构实现视频音效的智能生成，融合了时空视频特征与扩散生成模型，实现了音效与视频的高度同步。
4. 模型采用了快慢特征组合的视频编码器，有效降低了计算成本，并提升了视频特征提取的精度。
5. 音频表征模型采用原始波形作为输入，通过两阶段联合训练策略，实现了音频潜在表征的高质量生成和还原。
6. SeedFoley采用Diffusion Transformer框架，通过优化概率路径上的连续映射关系，减少了推理步数，降低了推理成本。

_2025-03-13_00_41_43.mp4

媒体文章：

• 机器之心: 字节音效生成模型来了，一键生成大片感音效！已上线即梦

[ikaijua]

2025-03-12 李飞飞团队推出机器人综合性框架BEHAVIOR Robot Suite（BRS）

1. BRS是一个综合性框架，旨在解决机器人执行日常家庭移动操作任务的挑战，使机器人能够完成倒垃圾、摆放衣物、清洁马桶等多样化家庭任务。
2. 研究团队确定了机器人执行日常家务任务所需的三项关键能力：双手协调、稳定精确的导航、广泛的末端执行器可达性。
3. BRS通过两项关键创新：JoyLo和WB-VIMA，解决机器人硬件和学习方面的挑战。
4. JoyLo是一种经济实惠的全身远程操作界面框架，提供高效协调控制和丰富的用户反馈。
5. WB-VIMA是一种模仿学习算法，通过建模全身动作和动态聚合多模态观察来学习表现力强的策略。
6. 实验显示BRS适用于多种家庭任务，JoyLo和WB-VIMA均优于基线方法，且关键组件对任务性能有显著影响。

论文主页：https://behavior-robot-suite.github.io/

媒体文章：

• 机器之心: 李飞飞团队「具身智能」最新研究：机器人接手所有家务
• 量子位: 李飞飞团队具身智能新作：500美元，一切家务机器人帮你干

[ikaijua]

2025-03-13 Sesame 发布逼真语音助手 Maya，成功跨越了语音恐怖谷，使语音交互更加自然、情感丰富

1. 语音恐怖谷效应： AI 语音合成接近人类语音时，细微的不自然感会引发不适。
2. Sesame 的 Maya 语音助手通过情感智能等技术，旨在跨越语音恐怖谷，实现更自然的语音交互。
3. Sesame 开源了驱动 Maya 的基础模型 CSM-1B，拥有 10 亿参数，采用 Apache 2.0 许可证。
4. CSM-1B 使用 RVQ 技术将音频编码为离散 token，已被 Google 和 Meta 等公司采用。
5. CSM-1B 基于 Meta 的 Llama 系列模型，并搭配音频解码器组件。
6. Sesame 公司由 Oculus 联合创始人等领导，专注于开发自然对话的语音伙伴及相关设备，并正在研发 AI 眼镜。

Demo 地址：https://www.sesame.com/voicedemo
官方博客：https://www.sesame.com/research/crossing_the_uncanny_valley_of_voice
Sesame 的CTO 接收 a16z 的采访视频：Building the Next Generation of Conversational AI

• CSM-1B项目地址：https://github.com/SesameAILabs/csm
• huggingface 地址：https://huggingface.co/spaces/sesame/csm-1b

媒体文章：

• 机器之心: 声音比真人还像真人的Maya，背后模型开源了！跨越语音恐怖谷

[ikaijua]

2025-03-14 alphaXiv推出新工具，结合Mistral OCR和Claude 3.7，自动生成博客风格的论文概述

1. 工具通过简单操作，将复杂论文转化为结构清晰、内容丰富的博客文章。
2. 生成的博客包括目录、简介、研究背景、具体方法、实验结果、局限性和未来前景等部分。
3. 该工具使得复杂的研究内容易于理解，提升了科研效率。
4. alphaXiv计划推出手机App，进一步推广这一高效学习工具。
5. 只需找到 arXiv 论文的链接，将链接中的「arxiv」替换成「alphaxiv」。替换完成后，用户只需在网页下方找到「blog」按钮并点击，便进入了博客生成界面。点击「Generate Overview」按钮，工具将自动生成一篇结构清晰、内容丰富的博客。

媒体文章：

• 机器之心: arXiv科研神器：Mistral OCR、Claude 3.7合体实现论文速读

[ikaijua]

2025-03-13 谷歌发布Gemma 3开源模型

1. Gemma 3的27B版本在性能上轻松击败671B满血的DeepSeek V3、o3 - mini、Llama - 405B等，仅次于R1，且在ChatBot Arena Imarena大模型竞技场中跻身Top 10，在同等参数量模型中达到SOTA，开源模型里仅次于R1。
2. 单GPU运行优势：Gemma 3在单GPU / TPU运行情况下表现出色，在LMArena排行榜的初步人类偏好评估中胜过多个知名模型，且1B模型量化版可在手机端运行，如在三星Galaxy S24 Ultra上有良好性能表现，还支持在电脑Web端本地创建社媒内容，如在MacBook Pro 2023（Apple M3 Pro芯片）上运行。
3. Gemma 3具备多模态和多语言特性，能分析图片、文本、短视频等模态，提供对超过35种语言的开箱即用支持以及对超过140种语言的预训练支持。
4. 支持Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM和Gemma.cpp等平台，方便开发者灵活开发；还支持128k Token上下文窗口，并支持函数调用、结构化输出，以帮助自动执行任务并构建Agent，官方也引入了量化版本，此外推出了基于Gemma 3构建的4B图像安全检查器ShieldGemma 2，开发人员可定制来满足安全需求。
5. 英伟达直接参与了Gemma 3模型的优化，确保其在任何规格的GPU上都能获得最佳性能，包括Jetson Nano到最新的Blackwell芯片，且在英伟达API目录中出现Gemma 3，可调用API快速进行原型设计，针对谷歌自家的TPU也进行了优化，并通过开源ROCmTM堆栈与AMD GPU集成，还有CPU的解决方案，同时附带改进的代码库，方便开发者定制和调整模型。

体验地址：https://aistudio.google.com/prompts/new_chat
huggingface地址：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d
官方博客：https://blog.google/technology/developers/gemma-3/

媒体文章：

• 量子位：谷歌版“DeepSeek”发布！27B模型单个GPU即可运行，击败满血DeepSeek V3/o3-mini

[ikaijua]

2025-03-13 OpenAI开源AI智能体开发框架

1. AI智能体开发框架包括联网搜索、文件搜索和计算机使用功能，使用这些工具可以搭建自动化任务的智能体。
2. 新API称为Responses API，结合了Chat Completions API与工具使用，支持单智能体和多智能体工作流。
3. 文件搜索和网络搜索对所有开发者开放，按使用次数收费，价格因服务不同而异。
4. 计算机使用工具在基准测试中表现优异，但目前仅对部分开发人员开放，价格较高。
5. OpenAI预告将进一步集成API与新工具，目标是推出一个综合性智能体平台。
6. OpenAI还展示了一个新的写作模型，擅长写小说，尤其是“元小说”类型。

官方博客：https://openai.com/index/new-tools-for-building-agents/
Github 项目：https://github.com/openai/openai-agents-python

媒体文章：

• 量子位: Manus逼OpenAI开源智能体框架，网友：已从行业领导者变为跟随者

[ikaijua]

2025-03-13 谷歌发布适用于机器人的LLM——Gemini Robotics

1. 谷歌发布了两款机器人模型，Gemini Robotics 可以通过视觉、语言和动作控制机器人；Gemini Robotics - ER 在此基础上增强了对空间和时间的理解，让机器人能更好地进行复杂任务。
2. 这些模型由云端网络和机器人本地芯片组成，经过优化后反应速度更快（延迟低于160毫秒），还能接入更高级的模型，让机器人解决更复杂的问题。
3. 谷歌专门设计了ERQA基准测试，来考察机器人在空间、动作、轨迹等方面的推理能力，结果显示这些机器人在测试中表现出色。
4. 机器人能理解自然语言指令，根据指令调整行为，并且能实时监控周围环境，如果环境或指令有变化，它会马上调整动作，即使面对没训练过的任务也能通过推理来完成。
5. 与同类其他模型相比，谷歌的机器人模型在多种任务上的表现都更好，尤其在处理复杂任务时，展现了更强的推理和执行能力。
6. 研究中用到的人形机器人Apollo来自公司Apptronik，谷歌参与了它的融资。今年，Apollo还和梅赛德斯 - 奔驰合作，在工厂里帮忙搬运、装配等工作。

官方博客：https://deepmind.google/discover/blog/gemini-robotics-brings-ai-into-the-physical-world/

媒体文章：

• 量子位：“谷歌版DeepSeek”接入机器人，思维链解锁折纸系鞋带技能，推理模型代入物理世界
  
• DeepTech：谷歌把Gemini引入物理世界，让机器人真正拥有了大脑

[ikaijua]

2025-03-13 Google的Gemini Deep Research功能向免费版用户开放，科研工作利器

1. 功能可帮助科研工作者高效进行文献综述，类似于一位不知疲倦的助手，能梳理网络信息并呈现清晰报告。
2. 对比Gemini、OpenAI、Perplexity、Grok等不同AI应用的Deep Research功能，Gemini的免费版每月可使用5次，OpenAI的需付费，Perplexity免费版每天可使用5次，Grok免费版可用至资源耗尽。
3. 推荐使用Gemini的Deep Research做文献综述，因为它检索高效且能直接生成分析报告，适合学术研究。
4. Gemini给出了详实的研究步骤，点击开始研究后，AI会自动进行研究并在完成后通知用户。生成的报告内容详实，关键论述后附有引用来源，还可导出到Google文档，文献引用格式规整。
5. Gemini的Deep Research功能是科研工作者的利器，能显著降低研究成本。

网址：https://gemini.google.com/deepresearch

[ikaijua]

2025-03-13 谷歌开放Gemini 2.0 的AI生图能力

1. 用户可在 Google AI Studio 免费体验，其绘画能力由模型直接生成，非调用外部模型，可混合生成文字和图片。
2. 其在多个场景下表现出色，如给人物变形出多种动作、14 轮连续对话修图、一句话生成绘本、球鞋设计等，展现了强大的一致性和连贯性。
3. Gemini 2.0 在生成多张图片时能保持角色、场景和风格的一致性，无论是连续内容创作还是在多轮修改中，都能很好地维持这种一致性，解决了视频分镜和连续内容创作中的痛点。
4. 测试中，Gemini 2.0 能够满足多种实际应用场景的需求，如电商批量生图、珠宝展示箱设计、绘本创作、球鞋设计等，表现出较高的实用性和完成度。
5. 尽管 Gemini 2.0 表现惊艳，但在处理复杂图片元素、细节较多的场景时，如变换办公室照片视角等任务，会出现细节处理不到位、元素变形等问题，说明其在复杂场景下的细节处理能力有限。
6. 尽管存在不足，但 Gemini 2.0 的绘画能力整体给人带来颠覆性感受，其一致性优势突出，未来仍有很大的发展潜力和提升空间，值得持续关注和期待。

测试网址：https://aistudio.google.com/app/prompts/new_chat

• 官方博客：https://developers.googleblog.com/zh-hans/experiment-with-gemini-20-flash-native-image-generation/
• B 站视频：kate人不错/Google Gemini 2.0 Flash 惊艳图像生成、编辑！轻松制作图文故事 | 分享脚本

媒体文章：

• 夕小瑶科技说：Gemini 2.0 原生绘画能力惊艳我了，兑现了我对 GPT-4o 曾经的幻想！
• 阿真 lrene：16组案例测试Gemini 2.0，说是言出法随的当下P图王中王不为过！
• 数字生命卡兹克：Gemini 2.0的“用嘴改图”终于上线了，这是AI绘图的新范式。
• 机器之心: 防盗水印一秒蒸发、证件照10秒抠图，谷歌Gemini 2.0 新神技很难评