一文了解Transformer全貌（图解Transformer）
Sep 26, 2025 · 网上有关Transformer原理的介绍很多，在本文中我们将尽量模型简化，让普通读者也能轻松理解。 1. Transformer整体结构 在机器翻译中，Transformer可以将一种语言翻译成 …
如何从浅入深理解 Transformer？ - 知乎
Transformer升级之路：1、Sinusoidal位置编码追根溯源 Transformer升级之路：2、博采众长的旋转式位置编码 猛猿：Transformer学习笔记一：Positional Encoding（位置编码） 解密旋转位 …
如何最简单、通俗地理解Transformer？ - 知乎
Transformer最开始应用于NLP领域的机器翻译任务，但是它的通用性很好，除了NLP领域的其他任务，经过变体，还可以用于视觉领域，如ViT（Vision Transformer）。 这些特点 …
Transformer 和 cnn 是两条差异巨大的路径吗？ - 知乎
Transformer 和 CNN，真的是两条差异巨大的路径吗？ 两者设计逻辑不一样，但目标一致——让机器看懂东西 CNN 是图像领域的老炮，靠“局部感知+权值共享”吃饭。 简单说，它专注于看图 …
挑战 Transformer：全新架构 Mamba 详解
Sep 23, 2025 · 而就在最近，一名为 Mamba 的架构似乎打破了这一局面。 与类似规模的 Transformer 相比， Mamba 具有 5 倍的吞吐量， 而且 Mamba-3B 的效果与两倍于其规模的 …
为什么 2024 年以后 MMDiT 模块成为了大规模文生视频或者文生 …
而且对于纯transformer架构，文本tokens和图像tokens拼接在一起也是很自然且容易的事情（UNet的图像是2D特征，而文本是1D特征）。 而且，SD3的技术报告中其实也对不同的架构 …
如何理解 Swin Transformer 和 Vision Transformer不同 ... - 知乎
Swin Transformer 的总体结构 Swin Transformer 总体结构 从上图我们可以观察到在输入端有一个 Patch Partition 的操作，也就是 Vision Transformer 常规的切图。 然后是经过一个线性映射进 …
你对下一代Transformer架构的预测是什么？ - 知乎
2. 引入随机化（Randomized Transformer） Transformer巨大的规模使得不管训练还是推理都极具挑战。 然而，很少有人知道的是，引入随机化矩阵算法可以减少Transformer需要的FLOPs。 …
Transformer - Attention is all you need - 知乎
《Attention Is All You Need》是Google在2017年提出的一篇将Attention思想发挥到极致的论文。该论文提出的Transformer模型，基于encoder-decoder架构，抛弃了传统的RNN、CNN模 …
有没有比较详细通俗易懂的 Transformer 教程？ - 知乎
Transformer目前没有官方中文译名，暂时就叫Transformer吧。 在该论文中，作者主要将Transformer用于机器翻译 [2] 任务，后来研究者们发现Transformer在自然语言处理的很多任 …