【新闻事件】

据央视频消息，中国首部文生视频AI系列动画片《千秋诗颂》启播暨中央广播电视总台人工智能工作室揭牌仪式将在今日举行。

【行业逻辑】

1、视频生成能力显著突破，向着AGI目标再进一步。东吴证券研报指出，相比行业原有视频生成模型gen2、pika等，Sora在语义理解能力、复杂场景理解能力、一致性以及生成视频时长等方面取得明显突破。1）模型层面，Sora是一种扩散模型，从一个看起来像静态噪音的视频开始生成视频，通过多个步骤去除噪音，逐渐转换视频。Sora可以一次性生成整个视频，也可以扩展生成的视频。与GPT模型类似，Sora也采用了transformer架构模型性能随着模型规模扩大而提高。新技术路径验证有望加速行业发展，算力需求有望增加。2）训练数据层面，Sora将视频和图像表示为更小的数据单元集合patch（类似于GPT中的token），通过统一数据表示方式，可在比以往更广泛的视觉数据上训练模型，包括不同的持续时间、分辨率和宽高比，最终生成的视频在这些维度也具有更高的灵活性OpenAI未将Sora单纯视作视频模型，而是将其作为“世界模拟器”，在物理世界模拟上已开始出现涌现效应，我们认为其亦有望为AI3D等其他多模态领域提供经验借鉴，多模态大模型有望加速发展。

　　出品 | 虎嗅科技组

　　作者 | 杜钰君

　　碾压谷歌的Gemini Pro和阿里的Qwen-VL-Plus，与GPT-4V正面硬刚，这个有着SOTA级别性能的多模态大模型真正做到了“人无我有，人有我优”。

　　继2023年4月的初级版本、2023年10月的LLaVA-1.5之后，2024年1月31日，微软研究院又联合威斯康星大学麦迪逊分校和哥伦比亚大学的研究者共同发布了多模态大模型LLaVa（Large Language and Vision Assistant）的1.6版本。与GPT-4V只提供API接口的闭源经营理念不同，LLaVA1.6的代码、模型与训练数据全开源，且在标准评测数据集上跑出了较为亮眼的成绩。