MuRecorder:基于 Rust 的 Windows 原生高性能录屏引擎,支持 GPU 零拷贝与实时视频切片


MuRecorder:一个用 Rust 打造的 Windows 原生录屏引擎

在 Windows 桌面软件开发中,录屏功能看似简单,真正实现起来却远比想象中复杂。

屏幕采集、硬件编码、音频同步、MP4 封装、异常恢复以及长时间录制的稳定性,都是需要处理的问题。尤其对于希望将录屏能力集成到自己软件中的开发者而言,找到一个轻量、可控且不依赖庞大多媒体框架的录制方案并不容易。

MuRecorder 正是为解决这些问题而开发的一款 Windows 原生屏幕录制引擎。

它使用 Rust 编写,通过 C ABI 提供接口,可以直接集成到 C#、.NET、Avalonia 等桌面应用中,也可以被其他支持调用 DLL 的语言使用。

项目地址:GitHub - MuRecorder

一、Rust 编写,Windows 原生录制架构

MuRecorder 并没有选择依赖 FFmpeg 或 GStreamer,而是直接基于 Windows 原生 API 构建完整的录制流水线。

核心技术包括:

  • DXGI Desktop Duplication:负责桌面画面采集,支持多显示器与区域录制。
  • Direct3D 11:负责 GPU 纹理裁剪和画面格式转换。
  • Media Foundation:负责硬件编码器选择、媒体类型协商以及视频编码。
  • WASAPI:负责系统音频、指定设备以及指定窗口音频采集。
  • OpenH264:提供纯 CPU 软件编码回退能力。
  • Rust + C ABI:提供线程安全的录制状态机与跨语言调用接口。

整个引擎采用原生 Windows 多媒体体系,最终输出标准 MP4 文件。

对于希望减少第三方依赖、控制底层资源和实现高性能录屏的开发者而言,这是一种相当有吸引力的架构。

二、GPU 零拷贝录制:让画面尽可能留在显存中

MuRecorder 最值得关注的设计之一,是它的 GPU 录制路径。

传统软件录屏可能需要将桌面画面从 GPU 显存复制到系统内存,再进行格式转换和编码。这种数据搬运在高分辨率录制中会带来额外的内存带宽压力。

MuRecorder 则尽可能让整个过程留在 GPU 内部:

  1. DXGI 获取桌面纹理。
  2. Direct3D 11 在显存内完成区域裁剪。
  3. GPU Video Processor 将 BGRA 转换为 NV12。
  4. 通过 MFCreateDXGISurfaceBuffer 将 GPU 纹理交给 Media Foundation。
  5. 硬件编码器直接处理画面。

桌面像素不需要完整回读系统内存。

这意味着在硬件编码路径下,录屏引擎可以避免传统 CPU 图像处理带来的大量内存复制。

对于 1080p、1440p 乃至 4K 屏幕录制,这种设计具有明显的工程价值。

三、硬件编码与 CPU 软件编码双路径

MuRecorder 支持多种编码器,并拥有自动选择与回退机制。

编码方式 说明
H.264 兼容性广泛的硬件编码
HEVC 高效的视频压缩编码
AV1 新一代视频编码格式
OpenH264 纯 CPU 软件编码回退

硬件编码通过 Windows Media Foundation 调用系统及驱动提供的硬件编码器。

软件编码则使用静态链接的 OpenH264,不需要额外安装运行时 DLL。

当硬件编码路径不可用时,引擎可以根据编码器候选阶梯进行回退,尽可能保证录制功能正常工作。

需要注意的是,具体硬件编码能力取决于显卡、驱动以及系统实际暴露的 Media Foundation 编码器。

四、录制中断也尽可能保留视频:Hybrid MP4

录屏软件最令人头疼的问题之一,就是长时间录制后突然崩溃、断电或者程序异常退出。

普通 MP4 通常需要在录制结束时写入完整索引。如果没有正常完成收尾,文件可能无法直接播放。

MuRecorder 为此实现了自己的 Hybrid MP4 封装策略。

录制过程中,文件以分片 MP4(fMP4)形式持续写入,每个分片都包含独立的媒体数据与样本信息。

录制结束时,引擎再根据这些分片构建完整索引,将文件收敛为普通 MP4。

这一设计带来的优势包括:

  • 录制中断时,已经完成的分片仍然具有可恢复性。
  • 正常停止后输出标准 MP4 文件。
  • 不需要重新编码视频。
  • 不需要复制整段媒体数据完成封装。
  • 支持超过 4 GiB 的单文件录制。

即使最终索引写入失败,MuRecorder 也会保留 .partial 文件,而不是直接删除录像。

相比单纯追求录制速度,这种对异常场景的处理更加体现底层引擎的工程价值。

五、HEVC 同样支持崩溃安全与录制中切片

Media Foundation 自带的分片 MP4 Sink 对 HEVC 存在限制。

MuRecorder 没有因此放弃 HEVC,而是实现了自己的 IMFMediaSink。

硬件编码仍然交由 Media Foundation,编码完成后的码流则由 MuRecorder 自己进行 MP4 封装。

因此,H.264 与 HEVC 都可以支持:

  • 录制期间持续写入分片。
  • 异常中断后的分片恢复。
  • 录制过程中提取视频片段。
  • 停止录制时生成普通 MP4。

AV1 目前仍使用普通 MP4 封装,暂不具备同等的录制中切片与崩溃保护能力。

六、录制过程中直接提取视频片段

MuRecorder 还提供了一个非常实用的功能:

无需停止录制,就可以从当前录像中提取指定时间区间。

通过 recorder_extract_range 接口,可以直接将正在录制的文件切出一段独立 MP4。

这一过程不需要重新编码,而是直接复制原始媒体数据并重建对应索引。

它适用于:

  • 游戏录制中的精彩片段保存。
  • 软件操作演示中的局部视频导出。
  • 长时间录制中的重点内容提取。
  • 自动化录屏系统中的实时片段生成。
  • 视频上传前的快速裁剪。

需要注意,切片起点受关键帧间隔限制,通常会回溯到前一个关键帧,而结束位置可以精确裁剪。

七、系统音频与鼠标指针效果

除了视频画面,MuRecorder 也提供完整的音频录制能力。

音频采集基于 WASAPI,支持:

  • 系统音频环回录制。
  • 指定音频设备录制。
  • 指定窗口音频录制。
  • 指定进程及其子进程的音频环回。
  • AAC-LC 双声道音频编码。

同时,引擎支持将鼠标指针直接合成进录制画面。

指针支持多种 Windows 光标形态,并提供两种视觉效果:

  • 点击波纹:鼠标点击时显示扩散圆环。
  • 移动轨迹:鼠标移动时生成逐渐淡出的轨迹残影。

这些效果直接烧录进视频画面,不需要额外的视频叠加轨道。

八、为 .NET 与 Avalonia 应用而设计

MuRecorder 的另一个特点,是它并不绑定某个 UI 框架。

项目通过 C ABI 导出完整接口,包括:

  • 创建录制实例。
  • 启动录制。
  • 停止录制。
  • 获取录制状态与统计信息。
  • 查询错误信息。
  • 销毁录制实例。
  • 从录制中的文件提取片段。

对于 C# 开发者,可以通过 LibraryImport 直接调用 Rust DLL。

这种设计非常适合:

  • .NET 桌面软件。
  • Avalonia 跨平台 UI 项目中的 Windows 录制模块。
  • 游戏工具与辅助软件。
  • 自动化操作记录工具。
  • 教程、演示与技术文档录制软件。
  • 需要嵌入式录屏能力的商业应用。

引擎本身不负责窗口 UI,开发者可以自由设计录制控制面板、悬浮窗、设置界面以及视频管理功能。

九、轻量、自包含与开源

MuRecorder 使用 Rust 构建,OpenH264 静态链接到最终 DLL 中,不需要额外安装 OpenH264 运行时。

项目环境要求:

  • Windows 10 1809 或 Windows 11。
  • x64 架构。
  • Rust 1.85+。
  • MSVC C 工具链。

项目采用 MIT 许可证开放源码。

对于想学习 Windows 原生录屏、Media Foundation、DXGI、Rust FFI 以及 MP4 封装的开发者而言,它也是一个值得研究的工程项目。

总结

MuRecorder 并不是一个传统意义上的录屏软件,而是一个面向 Windows 的原生录屏基础设施。

它将桌面采集、GPU 零拷贝、硬件编码、音频采集、MP4 封装、异常恢复以及录制中切片整合为一个独立引擎。

相比单纯调用现成的录屏库,MuRecorder 更强调底层控制能力、数据处理效率与录制可靠性。

如果你正在开发 Windows 桌面应用,希望集成一套高性能、可控且无需依赖庞大多媒体框架的录屏方案,那么 MuRecorder 是一个值得关注的开源项目。


项目地址: https://github.com/katomegumi1999/MuRecorder

作者: katomegumi1999

许可证: MIT