一文了解Transformer全貌（图解Transformer）
Sep 26, 2025 · 网上有关Transformer原理的介绍很多，在本文中我们将尽量模型简化，让普通读者也能轻松理解。 1. Transformer整体结构 在机器翻译中，Transformer可以将一种语言翻译成另一种语言， …
如何最简单、通俗地理解Transformer？ - 知乎
Transformer最开始应用于NLP领域的机器翻译任务，但是它的通用性很好，除了NLP领域的其他任务，经过变体，还可以用于视觉领域，如ViT（Vision Transformer）。 这些特点让Transformer自2017 …
Transformer模型详解（图解最完整版） - 知乎
Transformer 的整体结构，左图Encoder和右图Decoder 可以看到 Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。Transformer 的工作流程大体如下： 第一 …
如何从浅入深理解 Transformer？ - 知乎
Transformer升级之路：11、将β进制位置进行到底 Transformer升级之路：12、无限外推的ReRoPE？ Transformer升级之路：13、逆用Leaky ReRoPE Transformer升级之路：14、当HWFA遇 …
MoE和transformer有什么区别和联系？ - 知乎
01. Transformer：像“万能翻译官”的神经网络 Transformer 是当今AI大模型（如ChatGPT）的核心架构，最初用于机器翻译，核心是自注意力机制（Self-Attention），能同时分析句子中所有词的关系，而 …
挑战 Transformer：全新架构 Mamba 详解
Sep 23, 2025 · 而就在最近，一名为 Mamba 的架构似乎打破了这一局面。 与类似规模的 Transformer 相比， Mamba 具有 5 倍的吞吐量， 而且 Mamba-3B 的效果与两倍于其规模的 Transformer 相当。 性 …
当今改进cnn，transformer还有出路吗？ - 知乎
Point transformer v3: Simpler faster stronger 方法： 论文提出Point Transformer V3，通过改进Transformer架构，采用点云序列化和高效的Patch Attention机制，避免了KNN查询和复杂的位置编 …
transformer的损失函数如何定义？ - 知乎
Transformer 的整体结构，左图Encoder和右图Decoder 可以看到 Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。Transformer 的工作流程大体如下： 第一 …
MoE (Mixture-of-Experts)大模型架构的优势是什么？为什么？
MoE大模型具备哪些优势？ MoE的最大优势就是与Dense模型相比，在相同计算资源下，训练速度更快，而且可以训练更大的模型。 比如Google的Switch Transformer，模型大小是T5-XXL的15倍，在相 …
transformer模型为什么要叫transformer？ - 知乎
之所以叫Transformer其实有一个特别有意思且有深度的原因！ 不卖关子！废话不多说，开始解读。。。 先从GPT的名词解释开始… 1. GPT 的名词解释 著名的 GPT 这个名字全称是 Generative Pre …