AI新闻动态（2024-06-09到2024-06-15)

[ikaijua]

AI新闻动态（2024-06-09到2024-06-15)

目录

AI产品

1. 苹果全球开发者大会，苹果智能登场，GPT-4o加持下Siri脱胎换骨
2. 吴恩达开源AI智能体机器翻译项目
3. Luma AI 发布视频生成模型 Dream Machine，可免费试用
4. 美图发布了美图版Sora的AI短片
5. 英伟达开源了其最新的通用大模型Nemotron-4 340B
6. 小米小爱同学与火山引擎合作，接入豆包大模型
7. Stable Diffusion3发布模型权重
8. KREA AI推出视频增强工具

机器人

1. 能复刻人类动作的机器人HumanPlus

AI研究

1. 阿里发布视频生成新框架UniAnimate
2. 由Meta等研究机构撰写的论文“An Introduction to Vision-Language Modeling”《视觉语言模型导论》，帮助理解 VLM 并阐述有效实践
3. Karpathy AI 大课更新，4小时的超详细课程，从零开始实现1.24亿参数的GPT-2模型
4. 微软达到人类水平的语音合成技术：VALL-E 2
5. 香港大学和阿里推出AI图像编辑技术MimicBrush，实现局部重绘

AI洞察

1. 苹果智能背后模型公布
2. 马斯克声称如果苹果接入ChatGPT，将在公司禁止使用苹果设备

AI投资

1. 法国AI初创公司Mistral AI完成6.4亿美元B轮融资，估值达64亿美元

[ikaijua]

2024-06-11 苹果全球开发者大会，苹果智能登场，GPT-4o加持下Siri脱胎换骨

1. 苹果推出“Apple Intelligence”，将会为 iPhone、Mac 等设备提供一系列 AI 功能。
2. 苹果正式宣布和 OpenAI 公司合作，未来会在 Siri 中加入 ChatGPT，Siri能力将被大幅强化。
3. 加强的全系统内的写作工具（Keynotes以及第三方APP等）， 支持重写、校对、提取摘要、创作评论等功能。
4. Image Playground功能，只需描述就能生成各种风格的图像，内置在信息等APP里方便使用。
5. 借助 Apple Intelligence，Siri 能够在苹果和第三方应用中执行数百种新操作。例如，用户可以说：「从我的阅读列表中找出那篇关于蝉的文章」，或者「把周六烧烤的照片发给 Malia」，Siri 将自动处理这些请求。
6. Apple Intelligence，免费提供！支持iPhone 15 Pro及以上设备，搭载M1及更高配置芯片的Mac。

苹果官方视频：WWDC 2024 — June 10 | Apple
苹果官方视频：Apple Intelligence in 5 minutes
产品君：1分钟看完苹果AI发布会，Siri史诗升级，苹果全家桶迈入AI时代
宝玉xp：苹果 WWDC 2024 发布会的重头戏 Apple Intelligence 部分（中英文字幕）
“mkbhd” youtube视频：WWDC 2024 Recap: Is Apple Intelligence Legit?

媒体文章：

• 量子位：苹果一夜重塑iPhone！GPT-4o加持Siri，AI深入所有APP，库克：开启苹果AI下一章
• 机器之心：苹果智能炸裂登场：直接GPT-4o加持，全家桶都上生成式AI，Siri脱胎换骨
• 爱范儿：苹果 WWDC 超全总结：GPT-4o 加入 iOS 18，Vision Pro 国行确定，29999 起！

[ikaijua]

2024-06-13 苹果智能背后模型公布

1. 苹果在开发者大会上宣布了全新的个性化智能系统Apple Intelligence。该系统深度集成于iOS 18、iPadOS 18和macOS Sequoia。
2. Apple Intelligence由多种高度智能的生成模型组成，专为用户日常任务设计。
3. 苹果详细介绍了两款模型：一个设备端语言模型和更大的基于服务器的语言模型。
4. 基础模型在AXLearn框架上训练，使用数据并行等技术扩展训练。
5. 苹果对模型进行优化，提升速度和效率，并使用适配器针对特定任务微调。

官方博客：https://machinelearning.apple.com/research/introducing-apple-foundation-models

媒体文章：

• 机器之心：苹果智能背后模型公布：3B模型优于Gemma-7B，服务器模型媲美GPT-3.5-Turbo

[ikaijua]

2024-06-14 吴恩达开源AI智能体机器翻译项目

1. 翻译智能体提供高度可控的翻译系统，可自定义语气、地区变体和术语一致性。
2. 项目以MIT许可证发布，允许自由使用、修改和分发。
3. 智能体翻译使用反思工作流，通过LLM进行翻译和改进。
4. 智能体翻译在BLEU分数评估中有时优于商业产品，但有改进空间。

Github地址：https://github.com/andrewyng/translation-agent

媒体文章：

• 机器之心：改变传统，吴恩达开源了一个机器翻译智能体项目

[ikaijua]

2024-06-09 阿里发布视频生成新框架UniAnimate

1. UniAnimate 框架通过统一的视频扩散模型，消除了对额外参考网络的依赖，降低了训练难度和模型参数的数量。
2. 引入了参考图像的姿态图作为额外的参考条件，促进网络学习参考姿态和目标姿态之间的对应关系，实现良好的表观对齐。
3. 通过增加统一的噪声输入，UniAnimate 能够在一个框架内生成长时间的视频，不再受到传统方法的时间限制。
4. UniAnimate 框架通过迭代利用第一帧作为条件生成后续帧的策略，保证了生成视频的平滑过渡效果，使得视频在外观上更加一致和连贯。
   
   

Github地址：https://github.com/ali-vilab/UniAnimate
项目地址：https://unianimate.github.io/
论文地址：https://arxiv.org/abs/2406.01188

媒体文章：

• 机器之心：支持合成一分钟高清视频，华科等提出人类跳舞视频生成新框架UniAnimate

[ikaijua]

2024-06-11 由Meta等研究机构撰写的论文“An Introduction to Vision-Language Modeling”《视觉语言模型导论》，帮助理解 VLM 并阐述有效实践

1. 语言建模领域取得显著进展，大型语言模型（LLM）如 Llama 和 ChatGPT 能够解决多种任务。
2. LLM 正从仅处理文本转向具备处理视觉输入的能力，这将进一步拓宽应用范围。
3. 尽管已有研究将 LLM 扩展到视觉领域，但视觉与语言之间的连接尚未完全打通，模型在理解空间位置、计数和属性顺序等方面仍存在挑战。
4. 论文《视觉语言模型导论》由多家研究机构的多位研究者撰写，旨在帮助读者理解 VLM 并阐述有效实践，而非提供详尽综述。

论文地址：https://arxiv.org/pdf/2405.17247

媒体文章：

• 机器之心：视觉语言模型导论：这篇论文能成为你进军VLM的第一步

[ikaijua]

2024-06-13 Luma AI 发布视频生成模型 Dream Machine，可免费试用

1. Dream Machine 可在 120 秒内生成 120 帧高质量视频，支持文生视频和图生视频。动作幅度非常大，生成了不少好的效果。
2. 免费用户每月可生成30个视频。总体来说效果比快手的可灵好。
3. Dream Machine 基于 Transformer 构建，直接使用视频进行训练。
4. 由于需求量大，生成视频可能需要几个小时的排队时间。
5. Dream Machine 目前存在画面扭曲、动态对象处理问题和环境限制等局限。

使用地址：https://lumalabs.ai/dream-machine
官方视频介绍：Introducing Luma Dream Machine - Next Generation AI Video

媒体文章：

• 机器之心：量子位：英伟达投的Sora竞品免费了！网友挤爆服务器，120秒120帧支持垫图

[ikaijua]

2024-06-13 美图发布了美图版Sora的AI短片

1. 美图计划于7月31日上线AI短片创作平台MOKI，覆盖整个创作周期，实现高度可控。
2. 美图发布了6款AI生产力工具，包括游戏物料AI创作平台奇觅、站酷设计服务、美图云修、开拍、美图设计室等。
3. 美图技术团队升级了视频大模型的技术架构，提升了语义理解、画面稳定性等。
4. 吴欣鸿认为AI视频产品的生成时长不是最核心的能力，而是大模型的底层能力。

媒体文章：

• 量子位：美图版Sora最新视频曝光，还连发6款AI生产力工具，CEO吴欣鸿：一个人就是一支团队

[ikaijua]

2024-06-11 马斯克声称如果苹果接入ChatGPT，将在公司禁止使用苹果设备

1. 马斯克批评苹果计划在iOS 18中集成ChatGPT，认为这将带来安全隐患。
2. 马斯克威胁称，如果苹果实施该计划，他将禁止所有公司使用苹果设备，并对访客设备进行检查。
3. 马斯克对OpenAI的不满也体现在他的批评中，他认为苹果信任OpenAI保护用户隐私和安全是荒谬的。
4. 苹果在WWDC上宣布与OpenAI合作，计划在Siri中提供ChatGPT接口，允许用户通过Siri使用GPT-4o。
5. 苹果强调用户自愿使用该功能，所有文档和图片都会单独确认授权，且主要AI功能依赖本地或私有云运算。
6. 马斯克还指出，即使用户同意上传文件至ChatGPT，这种同意也存在问题，因为用户通常不会阅读用户条款。

媒体文章：

• 量子位：马斯克怒斥苹果接入ChatGPT：真敢集成就在全公司禁用

[ikaijua]

2024-06-15 英伟达开源了其最新的通用大模型Nemotron-4 340B

1. Nemotron-4 340B模型适用于医疗健康、金融、制造、零售等行业，帮助开发人员训练大型语言模型（LLM）。
2. 高质量训练数据对于自定义LLM至关重要，但往往难以获取。Nemotron-4 340B提供了一种免费且可扩展的方式来生成合成数据。
3. Nemotron-4 340B系列模型经过优化，可与NVIDIA NeMo和TensorRT-LLM库配合使用，提高训练和推理效率。
4. Nemotron-4 340B在多个基准测试中表现出色，性能超越了Llama-3等其他模型。
5. Nemotron-4 340B-Base模型采用标准仅解码器Transformer架构，具有因果注意力掩码、旋转位置嵌入等特性。
6. 企业可以通过NVIDIA AI Enterprise软件平台访问NeMo和TensorRT-LLM，实现生成式AI基础模型的加速和高效运行。

模型地址：https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

媒体文章：

• 机器之心：英伟达开源通用大模型Nemotron-4 340B

[ikaijua]

2024-06-13 小米小爱同学与火山引擎合作，接入豆包大模型

1. 小爱借助豆包模型提升学习推理能力，提供精确、专业的解答。
2. 小爱能实时捕获头条内容同源的搜索结果，提供全面、时效性强的答复。

[ikaijua]

2024-06-12 法国AI初创公司Mistral AI完成6.4亿美元B轮融资，估值达64亿美元。

1. 本轮融资由General Catalyst领投，包括Lightspeed、Andreessen Horowitz等现有投资者参与。
2. Mistral AI成立于2023年4月，由前DeepMind和Meta科学家组建，聚焦开源模型及企业级服务。
3. Mistral AI发布参数规模达1760亿的开源模型Mixtral 8x22B，为参数规模第二大的开源模型。
4. Mistral AI被视为OpenAI在欧洲的主要竞争对手，法国总统马克龙称赞其为“法国天才”的典范。
5. Mistral AI与微软建立长期合作伙伴关系，利用Azure AI基础设施进行模型训练。
6. 大额融资为AI创企输血，增加AI创投圈信心，但如何利用资金提升模型性能和产品化是新挑战。

媒体文章：

• 智东西：估值64亿美元，Mistral AI官宣6.4亿美元B轮融资

[ikaijua]

2024-06-12 Karpathy AI 大课更新，4小时的超详细课程，从零开始实现1.24亿参数的GPT-2模型

1. Karpathy称这是“从0到英雄”的系列中最新的视频，长度创下了记录。
2. 视频中，Karpathy讲解了GPT-2神经网络的构建、优化、超参数设置和模型评估。
3. 视频最后一部分是等待结果，第二天看结果，模型的训练损失不断下降，性能近似GPT-3模型。
4. Karpathy使用Lambda GPU Cloud启动GPU实例，使用Hugging Face的GPT-2代码在Pytorch中复现。
5. 视频中的练习份步骤详细，从构建到参数微调，Karpathy都给出了详细讲解。
6. 视频已经获得了11万次播放量，网友纷纷为这个免费课程“打赏”。

youtube视频：Let's reproduce GPT-2 (124M)

媒体文章：

• 机器之心：Karpathy最新四小时视频教程：从零复现GPT-2，通宵运行即搞定

[ikaijua]

2024-06-15 微软达到人类水平的语音合成技术：VALL-E 2

论文地址：https://arxiv.org/abs/2406.05370

[ikaijua]

2024-06-12 Stable Diffusion3发布模型权重

1. Stability AI 发布了 Stable Diffusion 3 的模型权重，这是其迄今为止最先进的文本到图像开源模型。
2. SD3 Medium 是一个拥有 20 亿个参数的模型。SD3 有两个版本：一个版本有 20 亿个参数，另一个版本有 80 亿个参数。虽然目前尚不清楚 Stability AI 何时会推出80亿的模型。
3. Stable Diffusion3 Medium 采用低VRAM占用设计，可在消费级 GPU 上高效运行，而不会牺牲性能。它还具有高度可定制性，能够进行微调，从小型数据集中捕捉复杂的细节。
4. 此外，Stability AI 与英伟达合作，使用TensorRT针对英伟达RTXGPU优化了所有 Stable Diffusion模型，包括 Stable Diffusion3 Medium。这一合作使性能提升了 50%，提供了同类最佳的性能。

模型地址：https://huggingface.co/stabilityai/stable-diffusion-3-medium
在线Colab：https://colab.research.google.com/drive/1pcr1otfG5hs5N7IqpwZdxcj4EbbYF7ot?usp=sharing
官方新闻：https://stability.ai/news/stable-diffusion-3-medium

媒体文章：

• Stable Diffusion 3 Medium 开源，AI 生图格局迎来巨变
• 量子位：Stable Diffusion 3开源秒翻车，画人好掉san

[ikaijua]

2024-06-15 香港大学和阿里推出AI图像编辑技术MimicBrush，实现局部重绘

输入要修改的图片和参考图，在图片中圈出要改的地方，会按照参考图的风格进行修改。

项目地址：https://xavierchen34.github.io/MimicBrush-Page/
Github：https://github.com/ali-vilab/MimicBrush

[ikaijua]

2024-06-15 KREA AI推出视频增强工具

可以提升视频画质，可以配合AI视频工具使用。

使用地址：https://www.krea.ai/apps/image/enhancer

[ikaijua]

2024-06-14 能复刻人类动作的机器人HumanPlus

硬件、数据集、代码均开源的机器人项目，能自动化完成任务，能通过一个摄像头捕捉人类动作然后完全复刻。

twittervid.com_zipengfu_e94c87.mp4

Github地址：https://github.com/MarkFzp/humanplus
项目地址：https://humanoid-ai.github.io/

媒体文章：

• 机器之心：从ALOHA迈向Humanplus，斯坦福开源人形机器人，「高配版人类」上线