Luma 发布 DIT 视频生成模型 Dream Machine，生成的视频的表现相当惊艳，无论是画质、美学表现、运动幅度、概念组合等等，绝对是电影级表现。
本来应该是 SD3 上头条的，看到了 SD3 开源的信息，调试好 ComfyUI 环境，美滋滋地在群内发了几张图片，正等着小伙伴们来一波点赞了，没想到整个 AI 圈瞬间被 Luma 的 Dream Machine 刷屏了。
好家伙，可灵 AI 的风头还没过去，Luma 又来卷 AI 视频了。
看了 Luma 的官方宣传片，不由自主地闪过了一个念头：”还在等待 SORA？Luma AI 视频技术已经让创意触手可及了"。
Luma 发布 DIT 视频生成模型 Dream Machine，生成的视频的表现相当惊艳，无论是画质、美学表现、运动幅度、概念组合等等，绝对是电影级表现。
1.Luma AI 介绍
Luma AI，这是一家成立于 2021 年 9 月的美国加州公司，专注于 3D 内容生成技术。该公司的核心技术是 NeRF（Neural Radiance Fields），这是一种三维重建技术，可以通过少量照片生成、着色和渲染逼真的 3D 模型。
Luma 推出的 Dream Machine 基于 DiT 视频生成架构，能够在 120 秒内生成一个包含 120 帧的高质量视频，实现快速创意迭代。它能理解物理交互，确保生成的视频角色和场景具有一致性和物理准确性。
官网：https://lumalabs.ai/dream-machine/
2.Luma AI 案例欣赏
下面的几组是使用 Luma AI 图生视频生成的，生成的视频画质、人像精度、镜头效果都是比较不错的。
Prompt A : A beautiful Japanese woman in a white snow jacket and hat poses for the camera, standing on an endless expanse of pristine white snowy ground with tall mountains and a dense forest in the background, shot in the style of Canon EOS R6 Mark II Mirrorless, with best qualit
Prompt B : Two astronauts standing on the moon, looking at a colorful nebula in space against a galaxy background with purple and blue colors in a cinematic, hyper realistic style.
Prompt C : A photorealistic photo of cars driving on the street on a rainy night, with blurred city lights in the background. Raindrops are falling down on the car windows, with a color theme of red and orange
Prompt D : A man was skydiving and taking a selfie, wearing an orange jumpsuit with black straps, with a happy facial expression, in a wide angle shot, in the style of a realistic photo.
Prompt E : beautiful blonde woman in white futuristic armor with large wings, mountains background, cinematic shot + photo taken by ARRI, incredibly detailed, sharpen, professional lighting, film grain, details + professional color grading ,50mm lens,8k
Prompt F : Beautiful Chinese girl surrounded by colorful goldfish, wearing a red dress with long hair floating in the water, bubbles around her face, creating a dreamy atmosphere, underwater photography in the style of hyperrealistic style and surrealism, high resolution photography showing delicate skin texture with colorful lighting effects and soft tones of bright colors evoking mysterious emotions.
Prompt G : Closeup view of green plants on the balcony, with the Shanghai city skyline in the background, a blurry foreground and blurred distant buildings, an overcast sky, cool tones, captured with a wideangle lens, soft light, contrasting greenery, in the style of urban landscape photography
3.Dream Machine 优势说明
Luma AI 支持文生视频、图生视频两种模式，生成 5 秒高质量视频：
特点 1：非常快，120 秒生成 120 帧
得益于帧率的巨大提升，视频更加丝滑顺畅
特点 2：动作非常逼真、连贯
可以实现电影级的运镜效果，画面随着镜头运动，仍然保持画面的流畅和自然。
特点 3：角色一致性极强，能够模拟物理世界
Dream Machine 的新架构，让它能理解人、动物、物体在物理世界的交互。对于镜头人物，不同角度的变换，也能更好的保持形象不变。
特点 4：运镜非常自然，完美匹配场景情感
能够生成流畅动态镜头，视觉体验大幅改善，AI 视频故事性表现力更强，打造影视级体验。
4.Luma AI 使用说明
官方体验地址：https://lumalabs.ai/dream-machine/creations
每个人每个月都可以获得 30 次免费生成额度（需要谷歌账号）。
付费用户：30 美元/120 次。
第一步：使用谷歌账号登录
使用谷歌账号一键登录，登陆后，会进入 My Videos 的创作页面：
第二步：文、图生视频
进入 My Videos 的创作页面，可以选择文生视频，或图生视频。
文生视频：在输入框直接输入英文提示词。
图生视频：点击图片图标，在弹出的窗口中选择我们要生成视频的图片。
默认选中 Enhance prompt，意思是 AI 会自动完善你的提示词。
第三步：等待生成视频（120 秒）
由于访问的用户量多，排队生成的时间较长，需要 3-10 分钟左右。
生成视频后，右键点击另存视频即可保存到本地电脑中。
5.总结
Luma AI 使用图生视频的画质和连贯性都比较好，镜头效果都比较好，使用图生图没有出现明显的图片模糊，人物脸蹦的情况。
但是在文生视频，提示词的理解方面和生成，感觉效果要差一些，文生视频出来的画面表现力不是很好，没有官方宣传的 AI 视频效果好，比如说电影感和镜头感。
总体来说，AI 视频离商业落地，又往前踏出了一大步。AI 视频技术的快速发展，让每个人都能成为“导演”。
