预览🚀 新功能PDF、Word、图片免注册上传年付首年再减 10%优惠截止时间为北京时间 2026 年 10 月 24 日 23:59立即领取 →
预览🎃 万圣节特惠年付首年再减 15%优惠截止时间为太平洋时间 2026 年 10 月 31 日 23:59立即领取 →
预览黑五特惠年付首年再减 20%优惠截止时间为太平洋时间 2026 年 12 月 1 日 23:59立即领取 →

计算机思维导图

把论文、课程视频或课堂笔记整理成概念、原理和它们之间的关系。

免注册
没有素材?试试样例:

MindLM 免费、无需注册:粘贴会议记录、笔记或文章,直接生成可编辑的思维导图。

不注册可试 3 次,每次最多 5,000 字,和网页、文件上传共用

免费账号:10 积分 + 每天 1 积分,无需信用卡;每张导图最多 10 万字符

Pro 每张 30 万字符,Max 60 万字符

真实示例:计算机思维导图

下面的导图由 MindLM 用线上同一套流程生成,未经人工修改。可以展开节点,也可以在编辑器里打开一份自己的副本。

你添加的是

1706.03762v7.pdf

PDF · 15 页

15 页 · 约 6,100 词 生成 84 个节点

原文摘录: Attention Is All You Need Abstract The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely.

Attention Is All You Need(Transformer 论文)

Vaswani et al., arXiv:1706.03762

查看原文
计算机思维导图示例:Transformer: An Attention-Based Sequence Transduction Model正在加载可交互的导图…

拖动可平移,点击节点可折叠。

在编辑器中打开需免费账号
用你的 PDF 试试免注册支持 PDF,4 MB 以内
这张计算机思维导图的全部节点文字(84 个节点)

Transformer 模型

  • 引言
    • 现状:基于 RNN/CNN 的序列模型
    • RNN/CNN 的局限性:顺序计算,难以并行
    • 核心创新:Transformer 模型,仅基于注意力机制
    • 优势:并行性、训练速度、翻译质量
  • 背景与动机
    • 现有序列模型:RNN (LSTM, GRU), CNN (Extended Neural GPU, ByteNet, ConvS2S)
    • 现有模型局限:
      • RNN: 顺序计算,难以并行,长距离依赖学习困难 (O(n) 顺序操作)
      • CNN: 依赖于卷积核大小,长距离依赖学习路径长 (O(logk n) 或 O(n/k))
    • Transformer 的优势:
      • 常数顺序操作 (O(1))
      • 路径长度短 (O(1))
      • 理论上计算复杂度 (O(n²·d))
    • Self-Attention (自注意力): 关联同一序列内的不同位置
    • 动机:
      • 计算复杂度
      • 可并行性
      • 学习长距离依赖的能力
  • 模型架构
    • 整体结构:Encoder-Decoder
    • Encoder:
      • N 层相同层堆叠 (N=6)
      • 每层包含:
        • 多头自注意力机制
        • 位置wise 前馈网络
      • 子层连接:残差连接 + Layer Normalization
    • Decoder:
      • N 层相同层堆叠 (N=6)
      • 每层包含:
        • masked 多头自注意力机制 (防止 attending to subsequent positions)
        • Encoder-Decoder 注意力机制
        • 位置wise 前馈网络
      • 子层连接:残差连接 + Layer Normalization
  • 核心组件:注意力机制
    • Attention Function: Query, Key, Value -> Output
    • Scaled Dot-Product Attention:
      • 计算方式: softmax(Q * K^T / sqrt(dk)) * V
      • 缩放因子 sqrt(dk) 的作用:避免 softmax 梯度过小
      • 优点:高效,易于实现
    • Multi-Head Attention:
      • 机制:将 Q, K, V 线性投影 h 次,并行执行 Attention,然后拼接并再次投影
      • 作用:允许模型同时关注来自不同表示子空间的信息
      • 参数设置:h=8, dk=dv=dmodel/h=64
    • Transformer 中的应用:
      • Encoder-Decoder Attention: Decoder query, Encoder memory K/V
      • Encoder Self-Attention: Q, K, V 来自 Encoder 前一层输出
      • Decoder Self-Attention: Q, K, V 来自 Decoder 前一层输出 (masked)
  • 位置编码与前馈网络
    • Position-wise Feed-Forward Networks:
      • 结构:两个线性变换 + ReLU 激活
      • 应用:每个位置独立应用,参数相同
      • 维度:dmodel -> dff -> dmodel (dff=2048)
    • Embeddings and Softmax:
      • 输入/输出:Token -> 词嵌入 (dmodel)
      • 共享权重:embedding 层与 softmax 层共享权重矩阵
      • 缩放:embedding 乘以 sqrt(dmodel)
    • Positional Encoding:
      • 目的:注入序列位置信息(由于无 RNN/CNN)
      • 类型:固定(正弦/余弦)或学习
      • 使用:加到输入 embedding 上
      • 公式:P E(pos,2i) = sin(pos/10000^(2i/dmodel)), P E(pos,2i+1) = cos(pos/10000^(2i/dmodel))
      • 优点:易于模型学习相对位置关系,可外插更长序列
  • 实验与结果
    • 机器翻译任务 (WMT 2014 EN-DE, EN-FR):
      • Transformer (big) 达到 SOTA BLEU 分数 (28.4 EN-DE, 41.8 EN-FR)
      • 训练成本显著降低 (相比其他模型)
    • 模型变体分析 (Table 3):
      • Attention heads/dimensions: single-head 略差,过多 heads 质量下降
      • dk 减小 hurts quality
      • 模型规模越大越好 (rows C, D)
      • Dropout 非常有效 (rows D)
      • Positional encoding 类型影响不大 (row E)
    • 其他任务:English Constituency Parsing
      • 在小数据集和小数据增广场景下表现优异
      • 泛化能力强
  • 结论与未来工作
    • 核心贡献:Transformer 模型,完全基于注意力,抛弃 RNN/CNN
    • 优势总结:并行性、训练速度、翻译质量 SOTA
    • 未来工作:
      • 应用于其他模态 (图像, 音频, 视频)
      • 探索局部/受限注意力机制
      • 减少生成过程的顺序性

查看这张导图的完整大纲和摘要

你添加的是

But what is a neural network? | Deep learning chapter 1

YouTube · 18:40Pro

18:40 · 约 3,400 词 生成 87 个节点

神经网络到底是什么?(3Blue1Brown)

3Blue1Brown on YouTube

不注册可试 1 个 20 分钟以内的 YouTube 视频(不扣积分);注册后再多 1 次(需足够积分)。不限次使用需 Pro 或 Max。 查看价格

查看原文
计算机思维导图示例:神经网络结构与原理入门正在加载可交互的导图…

拖动可平移,点击节点可折叠。

在编辑器中打开需免费账号
这张计算机思维导图的全部节点文字(87 个节点)

神经网络结构与原理入门

  • 神经网络:处理信息的数学模型
    • 核心功能:识别手写数字
      • 输入:28x28像素图像 (784个像素)
      • 输出:0-9的数字预测
    • 学习难度对比
      • 人类:识别数字非常容易
      • 计算机(编程):识别数字非常困难
    • 神经网络的意义
      • 机器学习和人工智能的重要组成部分
      • 解释神经网络的结构和工作原理
  • 神经网络的结构(类比大脑)
    • 组成单元:神经元
      • 定义:一个存储数字(0-1之间)的单元
      • 激活值:神经元中存储的数字
    • 网络层级
      • 输入层:对应图像的每个像素
        • 神经元数量:784个
        • 激活值:像素的灰度值 (0黑 - 1白)
      • 输出层:对应0-9的十个数字
        • 神经元数量:10个
        • 激活值:模型对该数字的置信度 (0-1)
      • 隐藏层:连接输入层和输出层
        • 作用:处理中间的信息
        • 示例:本网络有两个隐藏层,每个16个神经元(数量可调整)
    • 层间连接
      • 激活值传递:前一层神经元的激活值决定下一层神经元的激活值
      • 类比:生物神经网络中,一部分神经元激活会引发其他神经元的激活
  • 神经网络的工作流程
    • 已训练网络:输入图像 -> 特定激活模式 -> 逐层传递 -> 输出层激活模式 -> 预测结果(最亮的神经元)
  • 神经网络结构的设计哲学(类比人类识别过程)
    • 人类识别:将整体分解为组件
      • 数字组件示例:圆形、直线等
    • 神经网络的期望
      • 隐藏层神经元:可能对应图像的子组件(如边缘、形状)
        • 第二层(隐藏层):可能识别边缘
        • 第三层(隐藏层):可能识别更复杂的模式(如圆形)
      • 最终层:根据子组件组合识别数字
    • 分层抽象的普适性
      • 图像识别
      • 语音识别(声音->音素->音节->单词->短语)
  • 神经网络的数学实现:从概念到细节
    • 激活值的计算:如何从一层到下一层
      • 核心:加权求和 + 激活函数
      • 加权求和:
        • 为连接分配权重(weights):表示连接的重要性
        • 权重可以可视化为像素网格(绿正红负)
        • 目的:突出感兴趣的区域或模式
      • 偏置(bias):
        • 作用:调整加权求和的结果,引入“阈值”
        • 目的:控制神经元激活的难易程度
      • 激活函数(Activation Function):
        • 作用:将加权求和+偏置的结果“压缩”到特定范围(如0-1)
        • Sigmoid函数:
          • 经典激活函数
          • 将任意实数映射到0-1之间
          • 极负输入接近0,极正输入接近1
        • ReLU函数 (Rectified Linear Unit):
          • 现代常用激活函数
          • max(0, a),其中a是加权求和+偏置
          • 优点:训练更容易,尤其对于深度网络
    • 权重和偏置的数量:
      • 网络的“旋钮”和“调谐器”
      • 示例:一个16神经元的隐藏层,与784个输入神经元连接,需要 784*16 个权重 + 16 个偏置
      • 总计:一个网络可能包含数千甚至数百万的权重和偏置
  • 神经网络的学习过程(本视频不详述,将在下一视频讲解)
    • 目标:调整权重和偏置,使网络能解决特定问题
    • 手动调整的思考:理解权重和偏置的含义,有助于调试和改进网络
  • 更紧凑的数学表示
    • 向量和矩阵:
      • 激活值:表示为列向量
      • 权重:表示为矩阵 (每行对应连接到下一层的一个神经元)
      • 矩阵向量乘法:计算加权求和
      • 偏置:表示为向量,与矩阵向量乘法结果相加
      • 激活函数:应用于结果向量的每个元素
    • 优点:简洁、高效(便于计算机优化)
  • 神经网络的本质:一个复杂的函数
    • 输入:784个数字(像素值)
    • 输出:10个数字(数字置信度)
    • 参数:13,000+ 的权重和偏置
    • 计算过程:多次矩阵向量乘法和激活函数应用
  • 现代网络的变化:
    • Sigmoid函数不再是首选,ReLU更常用
    • 训练难度:Sigmoid有时难以训练,ReLU效果更好
  • 进一步学习资源:
    • 推荐相关视频系列(线性代数)
    • 提及可下载代码进行实践

查看这张导图的完整大纲和摘要

计算机思维导图该怎么分支

整理这类导图的一种好思路,在编辑器里调整时可以照着检查。

  1. 要解决的问题

    之前什么慢、什么错、什么做不到。大多数计算机概念,要放在它解决的限制旁边才看得懂。

  2. 核心思想

    用一两个节点讲清机制,比如「用注意力代替循环」「把键哈希成下标」。

  3. 工作原理

    每个组件或步骤一个子分支,公式、伪代码放在叶子节点。

  4. 复杂度与结果

    时间空间复杂度、基准测试,或论文报告的数字——证明这个想法有效的证据。

  5. 取舍与应用

    什么时候不该用、代价是什么、在真实系统里用在哪。

什么时候用

读书会前啃一篇论文

上传 PDF,先拿到问题、方法、实验、局限几个分支,再回到真正重要的章节精读。

把课程视频变成复习笔记

把录播课或 YouTube 讲解视频转成导图,再在没听懂的分支上补自己的笔记。

对比两种方案

粘贴两种数据结构或协议的资料,在面试或方案评审前把取舍并排看清楚。

用 AI 生成思维导图的三个步骤

  1. 粘贴文本或链接

    文章、笔记、网页 URL 或小型 PDF 都可以,不用注册。登录后还能上传电子书和更大的文件。

  2. 1–3 分钟拿到导图

    AI 通读内容,保留原有结构,整理成一条条可以逐个展开的分支。

  3. 浏览、编辑、导出

    折叠展开分支、改节点文字,然后导出 PNG、Markdown 或 XMind,在哪里都能用。

跟着会议纪要示例走完生成与导出

常见问题

能处理公式和代码吗?

公式和短代码片段会以文字形式保留在对应节点上。大段代码会被概括而不是逐行照抄——导图适合呈现结构,不适合放源码。

能整理一整章教材吗?

可以。登录后上传 PDF 或 EPUB,章节标题会成为一级分支。本页的免费试用支持粘贴 5000 字以内的文本。

支持哪些语言?

原文可以是英文、中文等主流语言,导图语言可以单独选择——很适合用中文读英文论文。

准备好把下一份 PDF、视频或笔记变成导图了吗?

无需繁琐配置,打开浏览器即刻开始。

数据加密存储 · 不用于 AI 训练 · 随时导出看看我们如何保护你的数据