feat: Record & Replay Controller (#1146) fix https://github.com/MaaXYZ/MaaFramework/issues/1133 ## Summary by Sourcery 引入专用的记录和回放控制器以及简化版的调试图像控制器，实现跨语言的控制器操作可重现（确定性）记录/回放，并将其集成到核心框架、绑定层和测试中。新功能： - 添加 `ReplayController` 和 `RecordController` 的实现，并在 C、C++、Python 和 NodeJS 绑定中暴露创建 API，用于记录和回放控制器操作。 - 添加一个调试控制器，从目录中提供轮播截图，同时将所有输入操作视为成功的空操作（no-op）。增强： - 将控制器能力重构为类似 mixin 的接口（`scroll`、`relative_move`、`shell`），并更新 `ControllerAgent` 和控制单元，使其基于支持的能力而非具体平台类型进行分发。 - 扩展 Python 和 NodeJS 中的自定义控制器回调和绑定，以支持 `relative_move` 和 `shell` 操作，并在记录格式和解析器中加入更多操作类型和元数据，包括滚动和 shell 输出。 - 调整调试和回放控制器的 controller info 语义，使其报告简化的、模式特定的字段和类型。构建： - 为回放和记录控制单元添加新的共享库和构建选项，并将它们接入 `LibraryHolder`、`MaaFramework` 和 `dlopen` 测试。 - 在用于流水线测试的 CI 构建配置中启用回放控制器。文档： - 更新集成接口文档，描述新的调试、记录和回放控制器 API 及其 info 字段。测试： - 添加并接入一个 `pipeline_smoking` 测试，通过 `ReplayController` 使用录制的输入数据运行流水线，以实现确定性的验证。 - 更新 Python、NodeJS、agent、pipeline 和 `dlopen` 测试，以覆盖新的记录/回放和调试控制器行为，以及负 ROI/target 处理。 - 将流水线节点测试重构为可复用的辅助工具，并在 Python 测试中复用 `PipelineSmoking` 测试资源。

Original summary in English

## Summary by Sourcery Introduce dedicated record and replay controllers and a simplified debug image controller, enabling deterministic recording/replay of controller operations across languages and integrating them into the core framework, bindings, and tests. New Features: - Add ReplayController and RecordController implementations and expose creation APIs in C, C++, Python, and NodeJS bindings for recording and replaying controller operations. - Add a debug controller that serves carousel screenshots from a directory while treating all input operations as successful no-ops. Enhancements: - Refactor controller capabilities into mixin-style interfaces (scroll, relative_move, shell) and update ControllerAgent and control units to dispatch based on supported capabilities instead of concrete platform types. - Extend custom controller callbacks and bindings in Python and NodeJS to support relative_move and shell operations, and enrich recording formats and parsers with additional operation types and metadata including scroll and shell output. - Adjust controller info semantics for debug and replay controllers to report simplified, mode-specific fields and types. Build: - Add new shared libraries and build options for replay and record control units and wire them into LibraryHolder, MaaFramework, and dlopen testing. - Enable replay controller in CI build configurations used for pipeline testing. Documentation: - Update integrated interface documentation to describe the new debug, record, and replay controller APIs and their info fields. Tests: - Add and wire a pipeline_smoking test that runs pipelines against recorded input data via ReplayController for deterministic validation. - Update Python, NodeJS, agent, pipeline, and dlopen tests to cover the new record/replay and debug controller behaviors and negative ROI/target handling. - Refactor pipeline node tests into reusable helpers and reuse PipelineSmoking test resources in Python tests.

## Summary by Sourcery 引入专用的录制与回放控制器，以及一个简化的调试图像控制器，将它们接入核心框架和各语言绑定，并用来实现基于文件驱动的确定性流水线测试。 New Features: - 在核心框架以及 C/C++/Python/NodeJS 绑定中新增 `ReplayController` 和 `RecordController` 类型及创建 API，用于录制和回放控制器操作。 - 新增一个调试控制器，从目录中轮播截图，同时将所有输入操作视为成功的空操作（no-op）。 Enhancements: - 将控制器能力重构为混入（mixin）风格的能力接口（`scroll`、`relative_move`、`shell`），并更新 `ControllerAgent` 和控制单元，使其基于支持的能力而非具体平台类型来分发行为。 - 扩展 Python 和 NodeJS 中的自定义控制器回调和绑定以支持 `relative_move` 和 `shell` 操作，并在录制格式、解析器和控制器信息语义中加入更多操作类型和元数据。 Build: - 为调试、回放和录制控制单元新增共享库、CMake 选项和链接配置，并将它们集成到 `LibraryHolder`、`MaaFramework` 以及 `dlopen` 测试中。 - 在用于流水线测试的 CI 编译预设中启用回放控制器。 Documentation: - 更新集成接口文档，描述新的调试、录制和回放控制器 API 及其信息字段。 Tests: - 新增 `pipeline_smoking` 测试，通过 `ReplayController` 使用录制的输入来驱动流水线，实现确定性验证，并将流水线节点测试重构为可复用的助手方法，以便在 Python 测试中复用。 - 更新 Python、NodeJS、agent、pipeline 和 `dlopen` 测试，以覆盖新的录制/回放和调试控制器，以及修改后的负 ROI/目标行为。

Original summary in English

## Summary by Sourcery Introduce dedicated record and replay controllers and a simplified debug image controller, wire them into the core framework and language bindings, and use them to enable deterministic, file-driven pipeline testing. New Features: - Add ReplayController and RecordController types and creation APIs in the core framework and C/C++/Python/NodeJS bindings for recording and replaying controller operations. - Add a debug controller that cycles screenshots from a directory while treating all input operations as successful no-ops. Enhancements: - Refactor controller capabilities into mixin-style capability interfaces (scroll, relative_move, shell) and update ControllerAgent and control units to dispatch behavior based on supported capabilities rather than concrete platform types. - Extend custom controller callbacks and bindings in Python and NodeJS to support relative_move and shell operations, and enrich recording formats, parser, and controller info semantics with additional operation types and metadata. Build: - Add new shared libraries, CMake options, and linkage for debug, replay, and record control units, and integrate them with LibraryHolder, MaaFramework, and dlopen testing. - Enable the replay controller in CI build presets used for pipeline testing. Documentation: - Update integrated interface documentation to describe the new debug, record, and replay controller APIs and their info fields. Tests: - Add a pipeline_smoking test that drives pipelines from recorded input via ReplayController for deterministic validation, and refactor pipeline node tests into reusable helpers reused from Python tests. - Update Python, NodeJS, agent, pipeline, and dlopen tests to exercise the new record/replay and debug controllers and revised negative ROI/target behavior.

新功能： - 添加 `ReplayController` 和 `RecordController` 抽象，并通过 C、C++、Python 和 NodeJS 绑定对外暴露，用于录制和回放控制器操作。 - 添加一个调试控制器，从目录中循环播放截图，并将所有输入操作视为成功的空操作（no-op）。增强内容： - 将控制器能力重构为混入（mixin）风格的接口（`scroll`、`relative_move`、`shell`），并更新 `ControllerAgent` 和控制单元，以基于支持的能力而不是具体平台类型来进行分发。 - 扩展 Python 和 NodeJS 中的自定义控制器回调和绑定，以支持 `relative_move` 和 `shell` 操作，并在录制格式、解析器和控制器信息中加入更多操作类型和元数据。构建： - 为回放和录制控制单元引入单独的共享库和构建选项，并将它们接入 `LibraryHolder`、`MaaFramework`、`dlopen` 测试以及包含 CI 预设在内的 CMake 选项中。文档： - 更新集成接口文档，描述新的调试、录制和回放控制器 API、其参数以及修订后的控制器信息字段。测试： - 添加 `pipeline_smoking` 测试及相关辅助工具，通过 `ReplayController` 使用录制的输入来驱动流水线以实现确定性验证，并更新 Python、NodeJS、agent、pipeline 和 `dlopen` 测试，以支持新的控制器和负 ROI/目标行为。

Original summary in English

--------- Co-authored-by: nekosu

用于单测的 ProxyController #1133

Description

功能描述 / Feature Description

MaaFramework 版本 / Version

其他信息 / Additional Information

Metadata

Metadata

Assignees

Labels

Type

Projects

Milestone

Relationships

Development

Issue actions