安装 Docker 并配置国内镜像源
已过时 本文主要使用阿里云提供的 Docker 相关服务进行配置。 安装 Docker创建 /etc/apt/keyrings 目录，并下载 Docker 的官方 GPG 密钥（阿里云）到该目录： 123sudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL http://mirrors.cloud.a...
使用 WSL + QEMU 进行 ARM64 仿真
平台介绍Win11 + WSL2 Ubunut 24.04 步骤安装 QEMU 和镜像配置工具： 12sudo apt install qemu-systemsudo apt install cloud-image-utils 由于 WSL 无图形输出，这里选择使用 Ubuntu Cloud Image 进行无图形化版本安装。 下载 Ubuntu Cloud Image，这里选择 24.0...
安装 NCNN 以及 ARM 交叉编译器
平台：WSL2 Ubuntu 24.04 编译安装根据 NCNN how-to-build，首先安装交叉编译器 Arm GNU Toolchain，选择 arm-gnu-toolchain-13.3.rel1-x86_64-aarch64-none-linux-gnu.tar.xz。 解压并设置环境变量后，执行以下编译命令： 12345cd <ncnn-root-dir>mk...
在 win11 上为 WSL2 配置桥接网络
WSL2 默认使用 NAT 网络，无法直接访问局域网内的设备。本文介绍如何配置 WSL2 使用桥接网络，使 WSL2 能够直接访问局域网内的设备。 首先，需要在 Windows 上安装 Hyper-V。注意，只有 Windows 专业版才支持 Hyper-V。 安装完成后，打开 Hyper-V 管理器，点击虚拟交换机管理器，创建一个新的虚拟交换机 <yourNewEthernet>...
Megatron 源码分析
程序启动/Megatron-LM/examples/pretrain_gpt_distributed.sh 使用 torchrun 启动多进程 pretrain_gpt.py torchrun预训练pretrain_gpt.py 调用 pretrain 函数进行预训练。 123456if __name__ == "__main__": pretrain(train_...
PostgreSQL 使用小结
用了多年 MySQL，想尝试一下新鲜事物 PostgreSQL，过程中踩了不少坑，于是便有了这篇文章 安装环境 Ubuntu-18.04 官方 apt 仓库安装，但由于服务器在国外速度过慢，弃置 从源码编译安装 官方文档 Chapter 17. Installation from Source Code，本文与其的一切差异以官方文档为准 在官方 ftp 找到需要的版本 1wget h...
Pytorch 并行训练
介绍常用术语 worker：常指 CPU node：节点，通常对应一台完整的机器 nnodes：节点数量 node_rank：节点序号 nproc_per_node：节点上的进程数量，通常一个进程对应一个 GPU，故也表示 GPU 的数量 master_addr：master 的 IP 地址，也就是 rank=0 的 IP 地址 RANK：进程的序号，通常一个进程对应一个 GPU，...
Transformer 结构分析
Input Embedding将 token 转化为向量 Positional Encoding网络结构不包含位置信息，编码引入 Scaled Dot-Product & Multi-Head Attention $$Q=W^QX,K=W^KX,V=W^VX$$ Scaled Dot-Product Attention$$\text{Atten...
使用 Git Hooks 完成 Hexo 文章自动部署
自动化部署的精髓在于 git 上传文章到远程仓库之后，触发远程 hooks 进行 hexo 文章的生成和部署到网站目录 首先在服务器端对应目录建立 git 仓库 1git init --bare <repo> 注意此时使用 --bare 参数建立的是一个裸仓库，该仓库不会保存工作树，仅仅保存 git 信息，一般在服务器端使用。并且 名称常为 .git 以示其为裸仓库 在本地 ...