腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

TensorRT LLM vs OpenPPL LLM

支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化模型DeployTensorRT-LLM量化结束，不需要deploy中间模型，直接进入编译器。部分模型可以支持onnx可视化PPL LLM不需要deploy以及编译，直接用onnx调算子。 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt，但主要是一些单算子（卷积、激活函数、gemm等），融合算子都是Tensor-LLM自带的。PPL LLM没有依赖

2023-11-21

1.2K0

标签:

LLM in Reranking——利用LLM进行重排

现有的涉及LLM的重排方法大致可以分为三类：用重排任务微调LLM 使用prompt让LLM进行重排以及利用LLM做训练数据的增强本文中针对前两种方法介绍一些研究。 Method 使用TF-IDF相似度得到初步的候选文档集，再使用LLM进行重排。 LLM对召回的文档先进行打分，保留top K_1个文档，用超链接对这些文档进行扩展，再用LLM对扩展文档打分并挑选top K_2的文档，如此往复直到到达最大深度H。一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。

2023-10-25

3.6K0

标签:

Open LLM Leaderboard（英文） Open LLM Leaderboard中包含有下列Benchmark：所有能力通用&数学&code——MT-Bench，由80个高质量的多轮对话问题组成的基准是多个数据集的结合，划分了LLM的语言、知识、推理、数学、Code、Agent几类能力。

2024-08-05

2K0

标签:

LLM On Kubernetes

从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。 Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。

2024-07-20

8110

标签:

WWW 2026 | LLM×Graph论文总结【LLM4Graph & Graph4LLM】

本文总结了2026 WWW上有关LLM Graph的相关论文，包含Research一个Track的论文（没有其它track），总计24篇，如有疏漏，欢迎补充。笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。另外一类是利用Graph4LLM，即利用图这种格式来增强LLM的能力。 LLM4Graph1. Disentangled Graph LLM for Molecule Graph Editing under Distribution Shifts4. ，RAG 推荐阅读 ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】 ICLR 2026 | Rebuttal前图基础模型(GFM)&文本属性图(TAG)高分论文

时空探索之旅

2026-03-10

4780

标签:

triton+tensorrt-llm后端部署LLM服务

/trtllm_checkpoint_fp16 \ --dtype float16 ❝[TensorRT-LLM] TensorRT-LLM version: 0.17.0.post1 [TensorRT-LLM][INFO] Refreshed the MPI local session [TensorRT-LLM][INFO] MPI size: 1, MPI local size : 1, rank: 0 [TensorRT-LLM][INFO] Rank 0 is using GPU 0 [TensorRT-LLM][WARNING] Fix optionalParams : ] TRTGptModel maxNumSequences: 2048 [TensorRT-LLM][INFO] TRTGptModel maxBatchSize: 2048 [TensorRT-LLM : 0 [TensorRT-LLM][INFO] TRTGptModel maxNumTokens: 8192 [TensorRT-LLM][INFO] TRTGptModel maxInputLen:

2026-03-25

5920

标签:

ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】

本文总结了2026 ICLR上有关LLM Graph的相关论文。总计29篇，如有疏漏，欢迎补充。观察：LLM Graph统计值最大均分均值最小均分 6 5.21 4 其中均分≥6的有4篇，其中。笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。另外一类是利用Graph4LLM，即利用图结构来增强LLM的能力。 LLM4Graph & TAG1. id=0RdAmwfVku 关键词：LLM reasoning, Knowledge Graphs, KG-enhanced LLM 作者：Wenxin Zhao, Jiachuan Wang, Yongqi id=34cANdsHKV 关键词：LLM Collaboration, Multi-Agent LLM 作者：Sukwon Yun, Jie Peng, Pingzhi Li, Wendong Fan

时空探索之旅

2026-03-10

6930

标签:

LLM Agent 简介

什么是LLM Agent导语GPT（尤其是GPT-4）等大语言模型（LLM）的推出，让人类认识到了大语言模型强大的文本生成能力。只是用来做文本生成工具的话，LLM的能力就被严重低估了。 LLM Agent 概念定义关于LLM Agent， OpenAI 应用人工智能研究负责人Lilian Weng在其Blog中将LLM Agent定义为LLM、记忆（Memory）、任务规划（Planning 通过LLM和三个关键组件，LLM Agent可以拥有复杂的工作流程，其中模型基本上是与自身对话，而无需人工参与到交互的每个部分。 LLM Agent通过迭代运行并定义一些新的目标/任务，而非传统GPT那般接受单个查询的输入并返回输出LLM Agent 常见功能LLM Agent能够基于大语言模型进行对话、完成任务、推理，并可以展示一定程度的自主行为 LLM 与三个组件LLM Agent 以 LLM 驱动，并需要三大组件辅助以完成工作（图片来自： https://lilianweng.github.io/posts/2023-06-23-agent

2024-01-12

7.3K0

标签:

拥有LLM模型

大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。使用Hugging Face的Transformers的LLM 我将使用Hugging Face的Transformers库来开发GIT-LLM。我相信Transformers对于最近LLM衍生物的发展做出了重要贡献。在其中，需要将一个视觉编码器与一个LLM连接起来。我将解释一些关键组件。

2024-06-06

6480

标签:

LLM挂载&部署

limit_mm_per_prompt image=4 --max_model_len 8784 成功挂载：在Dify中编辑“模型供应商”，添加更多模型供应商“OpenAI-API-compatible”，不仅支持LLM

2025-05-22

3480

标签: