「技术」Torch 相关资料

Profiler Sample

发布于 技术实践

「技术」PostgreSQL 使用小结

用了多年 MySQL,想尝试一下新鲜事物 PostgreSQL,过程中踩了不少坑,于是便有了这篇文章 安装 环境 Ubuntu-18.04 官方 apt 仓库安装,但由于服务器在国外速度过慢,弃置 从源码编译安装 官方文档 Chapter 17. Installation from Source Code,本文与其的一切差异以官方文档为准 在官方 ftp 找到需要的版本 1wget ...

发布于 技术实践

「技术」Pytorch 并行训练

介绍 常用术语 worker:常指 CPU node:节点,通常对应一台完整的机器 nnodes:节点数量 node_rank:节点序号 nproc_per_node:节点上的进程数量,通常一个进程对应一个 GPU,故也表示 GPU 的数量 master_addr:master 的 IP 地址,也就是 rank=0 的 IP 地址 RANK:进程的序号,通常一个进程对应一个 GPU,全局,...

发布于 技术实践

「技术」Transformer 结构分析

Input Embedding 将 token 转化为向量 Positional Encoding 网络结构不包含位置信息,编码引入 Scaled Dot-Product & Multi-Head Attention \[ Q=W^QX,K=W^KX,V=W^VX \] Scaled Dot-Product Attention \[ \text{Attention}(Q, K...

发布于 技术实践

「技术」使用 Git Hooks 完成 Hexo 文章自动部署

自动化部署的精髓在于 git 上传文章到远程仓库之后, 触发远程 hooks 进行 hexo 文章的生成和部署到网站目录 首先在服务器端对应目录建立 git 仓库 1git init --bare <repo> 注意此时使用 --bare 参数建立的是一个裸仓库,该仓库不会保存工作树,仅仅保存 git 信息,一般在服务器端使用。并且 名称常为 .git 以示其为裸仓库 在本地 ...

发布于 技术实践