本文主要介绍Llama的模型结构和主要优化特性。 Model Architecture Llama结构整体如上，是个典型的decoder-only结构，它包含如下部分： Embedding Transformer stack RMS Norm Linear Softmax Transformer stack包含多个Transformer...

背景 在The transformer’s details一文中，Decoder最后一层$Softmax$输出预测token在词汇表是各个token的概率大小。 实际使用中，预测的token是连续生成的，那么怎么挑选预测的token会对结果有不同的影响 解码策略 greedy search 顾名思义，预测的每个token都是top-1概率大小的token。优...

背景 自回归transformer模型 首先来看自回归transformer模型结构，如下图： 它主要包含以下部分： input embedding positional encoding Masked MultiHead Attention FeedForward Linear&Softmax 其中Masked-Multi...

本文主要介绍DeepSeek V2的模型结构并用数学表达式分析模型计算过程。 Model Architecture V2共计有60层，$h_t=5120$，注意力头数$n_h=128$，每个头的维度$R\in^{128}$ 除了第一层的FFN，V2将每个transformer block中的FFN都替换为MoE层。 每个toekn，只会激活6个专家；V2共计参...

数学表达式 Input embedding 假设目前输入为 $N$ 个token，经过embedding后，变为 $N \times d_f$ 矩阵，记为 $I$ Positional encoding 对输入的各个token做位置编码，最简单的编码方式是直接将位置向量累加到对应的emdding向量中 输入$N \times d_f$，输出$N \times d_f$ ...

本文主要介绍DeepSeek R1的模型结构并介绍其模型生产流程。 Model Architecture MoE Architecture R1使用256个专家，但对于每个token只会激活其中8个专家，另有一个共享专家。 Router Network 输入token，数量$N$；输出$N\times256$的向量 第一步：输入$x \in R^{N\times7...

2025年，各种智能体层出不穷，扩展智能体能力的协议MCP和Skills也相继推出。 Claude Code，OpenAI codex和Google Gemini在编程水平上已经基本或部分超越人类，相信不就，人类的编码能力将被AI全面取代。 那么人类程序员该去往何方？ 首先需要承认的是模块编码工作定会被AI取代，因为AI学习了全球互联网的编码，任何单一程序员很难与之匹敌，而且...

调研研究 有以下几个问题需要思考： 为什么要做这个任务？重要性如何？ 这一点决定了要不要做这个任务，以及做这个任务的优先级。 这个任务的目标是什么？ 根据目标可以反推任务的执行方法与方式，哪些方法是可以执行的，哪些方法是不可以执行的。 这个任务的难点是什么？ 摸清楚难点有助于排期制定，子任务的拆分和优先级设定，降低任务延期的沟通解释成本。 ...

本篇文章会持续更新，记录Cursor的实践总结。 代码生成 工作中经常需要使用脚本处理各种任务，比如日志分析、可视化数据、文本批量修改等。使用Python并借助Cursor的代码生成功能，可以大大提高工作效率。下面贴一张经常使用的Python代码Prompt生成示例。 Prompt示例 Please write a python script: Method: usin...

这是一个相当大的主题，可以在许多领域用到，今天主要在软件开发领域聊聊这个话题。 Elon Musk 和 OpenAI CEO Sam Altman 都推崇这样一个做法：你先迈出一步，再逐步精进。不要妄想等到万事俱备才开始，也不要期盼所需的前置学习都要掌握才开始，那样你永远都不会开始。 为什么会有这样的论调？ 首先我们要承认没有绝对完美的计划，条件大差不差的时候，可以着手去做...