月光博客 August 31, 2023

近日,阿里巴巴达摩院旗下魔搭社区(ModelScope)宣布开源一站式视频生成工具MotionAgent。

MotionAgent 集成了大语言模型、文本生成图片模型、视频生成模型和音乐生成模型。

使用 MotionAgent 可以通过输入创意和描述,让 AI 帮助生成剧本、剧照、视频和音乐。

其中,通义千问 -7B 模型可以帮助生成高质量的剧本内容,文本生成图片模型可以生成剧照,而核心模型 I2VGen-XL 可以将剧照转化为视频,最后音乐生成模型可以生成想要的音乐。

通过 MotionAgent,用户可以将自己的创意轻松变成现实。

项目地址 [https:]

介绍

MotionAgent是一个能将用户创造的剧本生成视频的深度学习模型工具。用户通过我们提供的工具组合,进行剧本创作、剧照生成、图片/视频生成、背景音乐谱写等工作。

MotionAgent的模型由ModelScope开源模型社区提供支持。

功能特性

  • 剧本生成(Script Generation)
    • 用户指定故事主题和背景,即可生成剧本
    • 剧本生成模型基于LLM(如Qwen-7B-Chat),可生成多种风格的剧本
  • 剧照生成(Movie still Generation)
    • 通过输入一幕剧本,即可生成对应的剧照场景图片
  • 视频生成(Video Generation)
    • 图生视频
    • 支持高分辨率视频生成
  • 音乐生成(Music Generation)
    • 自定义风格的背景音乐
固定链接 '阿里魔搭社区开源一站式视频生成工具MotionAgent' 提交: August 31, 2023, 9:53pm CST