分布式训练学习：原理、实现与优化
前言看了点书和文章，让 llm 帮我生成了这么一篇总结，感觉说的挺好，自己改了改就当作是自己写了 hhh I. 分布式训练的理论基础1.1 并行计算模式分类在分布式深度学习中，常见的并行策略可从计算图的不同维度进行划分： 数据并行 (Data Parallelism)：复制完整模型到多个设备，每个设备处理数据子集 模型并行 (Model Parallelism)：将单一模型的不同层分布到不同设备上 管道并行 (Pipeline Parallelism)：模型并行的特例，按层次顺序分割模型并引入流水线处理机制 张量并行 (Tensor Parallelism)：将单层的参数矩阵分割到多个设备上 DDP 实现的是数据并行范式，其理论基础来源于随机梯度下降 (SGD) 的可分解性。考虑优化目标： $$\min_{\theta} \frac{1}{N} \sum_{i=1}^{N} f_i(\theta)$$ 其中 $\theta$ 是模型参数，$f_i$ 是第 $i$ 个样本的损失函数。在小批量 SGD 中，梯度更新可表示为： $$\theta_{t+1} =...
分布式训练学习：快速上手使用 PyTorch DDP
前言2025 年了，现在大量深度学习模型需要在多卡机上训练，尤其是大语言模型。企业越来越多地部署千卡/万卡集群。所以大家最好从小养成分布式训练/推理的好习惯。分布式这种 system 领域的概念真是一通百通，学了之后到处都有用。 什么是分布式训练？分布式训练是一种利用多台计算机或设备共同完成深度学习模型训练的方法。通过将数据和计算任务分配到多个设备上，可以显著提高训练的速度和效率。 PyTorch DDP 简介PyTorch 的分布式数据并行（DDP）模块是用于加速深度学习模型训练的工具之一。它允许用户将模型和数据分布在多台设备或计算机上，从而加速训练过程。 为什么使用 DDP？ 加速训练：DDP 可以将训练任务分配到多台设备上，从而显著加快训练速度。 节省资源：通过分布式训练，可以充分利用多台设备的计算资源，减少训练时间。 支持大规模模型：DDP 特别适合大规模深度学习模型的训练，可以有效处理数十亿参数的模型。 如何使用 DDP？ 安装 PyTorch：调用torch.distributed包就好 定义模型和数据：定义您的深度学习模型和训练数据。 创建...
图神经网络学习：图同构网络
前言去年上 COMP4222 学习图同构网络(Graph Isomorphism Network)的笔记。主要参考了 CS224W 以及原论文How Powerful are Graph Neural Networks?WL-Test 威力强大不可不品尝（应该是） TLDRGIN 是一种能够达到与 Weisfeiler-Lehman(WL)测试等价表达能力的图神经网络。GIN 通过精心设计的聚合函数，解决了图神经网络在表达能力上的瓶颈，使其能够区分大多数非同构图结构。GIN 的核心是将节点自身特征与邻居特征进行”注入”式聚合，整个模型可表示为一系列 GIN 层的堆叠。 介绍GIN 这份工作力求探究 GNN 理论上的表达能力。这里“表达能力”的定义类似于光学里的“分辨率”，也就是模型区分不同输入数据的能力边界。一个模型的表达能力越高，就越能捕获到图的细微结构差异，进而学习出一个更有区分度的 representation/feature/embedding. 对于两个图 $G_1,...
线性代数：内积空间
前言中学前我们就学过$\mathbb{R}^n$中的向量点积$$ \mathbf{u\cdot v} = \mathbf{u}^T\mathbf{v} = \sum^{n}_{i=1}u_iv_i\text{,}(u_i, v_i\in \mathbb{R}) $$ 通过点积能够定义距离，长度，夹角等几何概念$$ cos\theta = \frac{\mathbf{u\cdot v}}{|\mathbf{u}||\mathbf{v}|}$$现在我们更进一步，在数域$K$上的向量空间里讨论广义上的点积——内积(Inner Product) 内积 Inner Product实数域上的内积内积运算首先是一个二元算子 $< , > ：V \times V \rightarrow \mathbb{R}$, 其满足以下几条性质($\mathbf{u},\mathbf{v}\in \mathbb{R^n}$): 可交换性：$ <\mathbf{u},\mathbf{v}> =...
线性代数：向量空间
前言2023年下半年的我可以说是“在与线性代数的搏斗中死去了”，学校开了两门线性代数，一门用的课本是Linear Algebra and its Applications, 6th edition, by D. Lay, S. Lay, and J. McDonald， 另一本则是Linear Algebra Done Right. 代数结构初探：群，环，域这部分记得比较基础，感兴趣请自行移步离散数学/抽象代数。 群 Group对一个集合 $G$, 我们给它装备上一个二元运算 $\circ : G \times G \rightarrow G$，使得集合对这个二元运算封闭。$$\begin{align*} a \in G , b \in G \ a \circ b \in G\\end{align*}$$对$G$中任意元素都成立。在这个基础上，满足以下几条性质的代数结构我们便称之为群(group):$$ \begin{align*}\text{结合律：}&(a \circ b) \circ c = a \circ (b \circ...
C++学习：分别编译与makefile
前言一句话解释什么是makefile: 自动编译程序的脚本 make 之前从很多坨源代码文件到一个可运行的软件项目的过程叫做构建（Build）。对于C++程序，一个重要的过程便是编译（compile）。 单个源文件的编译编译如下文件： 12345678910111213// helloworld.cpp# include<iostream>void print(){ std::cout << "hello world" << std::endl;}int main(){ std::cout << "Print" << std::endl; print();} 编译方式是在bash等终端里输入： 12g++ -c helloworld.cppg++ -o main helloworld.o 这样会产生中间文件helloworld.o，因为这里只有单个.o文件没有要链接的其他文件，可以委托g++一步到位： 1g++ -o...
图神经网络学习：Overview
前言这是对斯坦福公开课CS224w...
C++学习：virtual虚函数
前言学习面向对象编程，关键就是要理解封装、继承、多态这三种思想，在C++中，基类与派生类之间的多态性可以由virtual关键字来实现 多态(polymorphism)什么是多态？通俗地讲，多态就是“龙生九子，各有不同”。在当前语境下可以理解为：面对不同的实例，所执行的方法是不同的。 一个类作为基类，能够“生”出许多派生类。当我们传入某一个派生类的实例时，程序能够正确地执行与该派生类对应的方法。这就是所谓“运行时多态” 虚函数定义父类的某些成员函数，能在子类中被覆盖重写(override),在父类中声明时用virtual修饰,在子类中可重定义，并且可以在函数名后面标注override来提示。 如下实例： 123456789101112131415161718192021222324252627282930#include<iostream>class Ball //球类游戏{public: virtual void getBallName() { std::cout<<...
C++学习：静态（static）
首先在学习过程中多次见到静态这个概念，它出现在不同的地方时，含义和用法也不尽相同。想要有一个比较完整的了解，你需要掌握的是：编译与链接、作用域、类与对象的基本知识。static关键字显式地规定了数据的储存方式，有助于栈区内存管理。 在类与结构体外使用static关键字静态变量存储在静态存储区的变量即为静态变量，一般我们说的“全局变量”指的是“具有外部链接性的静态变量”在全局变量声明时加入static修饰符，使得这个变量：1，具有内部链接性；2，生命周期（life time）扩展到整个程序 与天同寿项目中的一个 t1.cpp 源文件中如下定义： 123456789101112131415# include <iostream>static int a = 114;//静态全局变量int b = 514;//全局变量void foo(){ static int c = 1919; //静态局部变量 int d = 810; //局部变量 std::cout << c <<...
hexo+butterfly主题下美化笔记（一）
hexo+butterfly 主题 博客装修笔记（一） 副标题、背景图和侧边栏hexo 6.3.0 + butterfly 4.5.1 善用 VSCode 的 “Ctrl + F”查找功能快速定位对应设置副标题（subtitle)若主题 config 中未定义副标题内容，可以直接在 hexo 原本的_config.yml 中修改副标题内容。1234567# Sitetitle: # 网站标题subtitle: # 副标题description: # 描述author: #站长名字language: zh-CNtimezone: # 时区 实现文字换行:在如下实例中将字符串用\<br> 隔开。在字符串中直接加 \n , \, <<endl 是不行的！(雾 1234567# Sitetitle: # 网站标题subtitle: "Talk is cheap<br>Show me your code" # 副标题description: # 描述author: #站长language:...