首页
学习
活动
专区
圈层
工具
发布
首页标签huggingface-transformers

#huggingface-transformers

DeepSeek-V3多头潜在注意力架构详解

用户11764306

在本系列的第一部分中,通过探索DeepSeek-V3的理论基础并实现关键配置元素(如旋转位置嵌入),为后续内容奠定了基础。该教程阐述了DeepSeek-V3如何...

5110

基于Transformer和自监督学习的食谱检索技术

用户11764306

在寻找烹饪创意时,人们常常从社交媒体和餐厅中获得灵感,保存喜欢的食物截图或照片。某机构已经构建了一项技术,让人们能够利用这些图像来查找对应的烹饪食谱。在2021...

7010

CubeAttn|一篇推翻线性注意力评测惯例的「反常识」发现:U 型失效、种子陷阱与瓶颈定位

山野大叔

       大模型的核心瓶颈之一是注意力机制的显存开销——标准 Transformer 要算一个 $L \times L$ 的大矩阵,序列越长越爆炸。

10110

Python用LLM词嵌入与Transformer自注意力机制在文本语义理解中的应用研究|附数据代码

拓端

摘要: 大语言模型的迅猛发展深刻改变了人机交互范式。本文聚焦于支撑其核心能力的底层技术:词嵌入与自注意力机制。研究从传统稀疏表示法的局限性出发,系统对比了Wor...

22810

Transformer架构:驱动AI革命的核心理念

用户11764306

当今最强大的AI工具——无论是能够总结文档、生成艺术作品、创作诗歌,还是预测极其复杂蛋白质折叠方式的工具——都依赖于“Transformer”架构。这种神经网络...

13410

transformer进阶之路:#2 工作原理详解

AI-Frontiers

原文链接:https://mp.weixin.qq.com/s/D3ztMx5HeGMD30PenmDizg 欢迎关注公zh: AI-Frontiers

12010

transformer进阶之路:#1 整体概述

AI-Frontiers

原文链接:https://mp.weixin.qq.com/s/R3BxCMu5CSFo_HPcVJTuOA 欢迎关注公gh: Al-Frontiers

13910

循环深度Transformer与MoE路由编码教程

用户11764306

在本教程中,探索OpenMythos的实现,这是对Claude Mythos架构的理论重构,通过迭代计算而非增加参数规模来实现更深层的推理。构建并分析使用GQA...

15510

利用Transformer提升商品检索效果

用户11764306

在今年的知识发现与数据挖掘国际会议(KDD)上,我们介绍了一种新的学习排序方法,该方法纳入了绝对反馈。它还使用了在自然语言处理中非常流行的Transformer...

9810

万字详解:谷歌研究院推出的TurboQuant压缩算法 —— 极致压缩如何重塑大模型推理的未来

jack.yang

2026 年,生成式人工智能已进入“长上下文时代”。从 Claude 3 的 200K tokens 到 Gemini 2 的 1M tokens,大语言模型(...

7.6K20

MQ-Former:融合可学习与条件查询的图像分割新架构

用户11764306

在2025年计算机视觉与模式识别会议(CVPR)上发表的一篇论文中,介绍了一种新的图像分割方法,该方法能够跨不同的数据集和任务进行扩展。传统的分割模型在孤立任务...

11410

RAG系统中如何处理多跳问答(Multi-hop QA)?

ETL 小当家

🚀 本文收录于Github:AI-From-Zero 项目 —— 一个从零开始系统学习 AI 的知识库。如果觉得有帮助,欢迎 ⭐ Star 支持!

66710

混合查询Transformer实现图像分割跨任务扩展

用户11764306

在提交至2025年计算机视觉与模式识别会议(CVPR)的论文中,介绍了一种能跨多样化数据集和任务进行扩展的图像分割新方法。传统的分割模型在孤立任务上效果显著,但...

15310

spaCy携手Transformers:微调BERT、XLNet和GPT-2

用户11764306

像BERT、GPT-2和XLNet这样的大型Transformer模型已经在几乎所有NLP排行榜上树立了新的准确率标杆。现在,通过我们开发的一个新的接口库,您可...

10710

驯服Transformer:百万级别文本分类新方法

用户11764306

在自然语言理解领域,文本分类是最基础的任务。例如,用户向某智能助手发出的请求需要按领域进行分类,如天气、音乐、智能家居、信息查询等。同时,许多自然语言处理应用也...

17810
领券