AReaL VLM Roadmap #107
Description
zhaochenyang20
Issue body actions
- VLM 接口问题：AReaL 目前调用 SGLang VLM 接口来传图片没有问题，无需接口改动；但是 zijian 说传视频和分开传图片帧有较大性能差异，可能需要确认下；
- 需要 profiling 下现在 SGLang VLM 的推理瓶颈，目前 fuwei 在 profiling Qwen2.5-VL；
- SGLang Visual-Agent + function calling 场景存在重复 visial encode：VLM 输入图片 + 任务，输出 function call 和环境交互。第二个 following 的 image 发送给 engine 时，会将前一张图片重复通过 vision encoder 再 encode 一次，有重复计算，需要优化；
- SGLang 在 RL 场景下的 CPU overhead 需要优化：tongkai 提供一些 profiling 结果给我们，以供优化；
Reactions are currently unavailable