关注的会议

USENIX Annual Technical Conference(USENIX ATC) CCF-A 1 月 International Conference on Supercomputing(ICS) CCF-B 2 月 ACM International Conference on Computing Frontiers(CF) CCF-C 2 月 International...

EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees

EAGLE: Speculative Sampling Requires Rethinking Feature Uncertaintyhttps://chlience.com/EAGLE 简介:在 EAGLE 的基础上,使用动态的 draft tree,去掉接受率较低的 token,从而减少浪费,使得 draft tree 更深。 作者发现,不同的 draft tree 上相同位置的节点的...

论文阅读

EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty

简介:将输入词的特征 $f_1$ 和 Origin LLM 预测的分布 $p_2$ 进行多次采样 $e_2$,分别输入到 draft model(自回归头),从而预测采样结果的特征 $f_2$,进而生成后续的 token。 作者提出了两个 motivation 特征级别的自回归(LM Head 前)比 token 级别的自回归(LM Head 后)更为直接 特征级别的自回归固有的不确定性限...

论文阅读

安装 Docker 并配置国内镜像源

已过时 本文主要使用阿里云提供的 Docker 相关服务进行配置。 安装 Docker创建 /etc/apt/keyrings 目录,并下载 Docker 的官方 GPG 密钥(阿里云)到该目录: 123sudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL http://mirrors.cloud.a...

技术实践

使用 WSL + QEMU 进行 ARM64 仿真

平台介绍Win11 + WSL2 Ubunut 24.04 步骤安装 QEMU 和镜像配置工具: 12sudo apt install qemu-systemsudo apt install cloud-image-utils 由于 WSL 无图形输出,这里选择使用 Ubuntu Cloud Image 进行无图形化版本安装。 下载 Ubuntu Cloud Image,这里选择 24.0...

技术实践

安装 NCNN 以及 ARM 交叉编译器

平台:WSL2 Ubuntu 24.04 编译安装根据 NCNN how-to-build,首先安装交叉编译器 Arm GNU Toolchain,选择 arm-gnu-toolchain-13.3.rel1-x86_64-aarch64-none-linux-gnu.tar.xz。 解压并设置环境变量后,执行以下编译命令: 12345cd <ncnn-root-dir>mk...

技术实践

在 win11 上为 WSL2 配置桥接网络

WSL2 默认使用 NAT 网络,无法直接访问局域网内的设备。本文介绍如何配置 WSL2 使用桥接网络,使 WSL2 能够直接访问局域网内的设备。 首先,需要在 Windows 上安装 Hyper-V。注意,只有 Windows 专业版才支持 Hyper-V。 安装完成后,打开 Hyper-V 管理器,点击虚拟交换机管理器,创建一个新的虚拟交换机 <yourNewEthernet>...

技术实践

Megatron 源码分析

程序启动/Megatron-LM/examples/pretrain_gpt_distributed.sh 使用 torchrun 启动多进程 pretrain_gpt.py torchrun预训练pretrain_gpt.py 调用 pretrain 函数进行预训练。 123456if __name__ == "__main__": pretrain(train_...

技术实践

乡村婚事

一位小姑娘在向前伸出的双手里捧着一只疲倦的小狗。两位先生相互交换着信息。其中一个手心向上,有节奏的摆动着双手,仿佛拖着什么悬空的重物。这时,走来了一位女士,她的帽子上饰有许多缎带、别针和花朵,一个挂着细手杖的年轻人匆匆而过,他那似乎瘫痪的左手平放于胸前。不时走来一些男人,他们抽着烟,嘴里冒出一缕缕直而长的小烟云。有三位先生——其中的两个把轻便的外衣搭在屈伸的下臂上——多次从房屋墙根走到人行...

胡思乱想

BUAA-OS-2023

浅浅放个 github 仓库以供参考,后期可能会完善(鸽),并写一些 OS 比赛的东西

课程备忘
123