EAGLE: Speculative Sampling Requires Rethinking Feature Uncertaintyhttps://chlience.com/EAGLE EAGLE-2: Faster Inference of Language Models with Dynamic Draft Treeshttps://chlience.com/EAGLE-2 核心论点...
CCF-AUSENIX ATC(USENIX Annual Technical Conference) PUZZLE: efficiently aligning large language models through light-weight context switch SC(International Conference for High Performance Computin...
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertaintyhttps://chlience.com/EAGLE 简介：在 EAGLE 的基础上，使用动态的 draft tree，去掉接受率较低的 token，从而减少浪费，使得 draft tree 更深。 作者发现，不同的 draft tree 上相同位置的节点的...
简介：将输入词的特征 $f_1$ 和 Origin LLM 预测的分布 $p_2$ 进行多次采样 $e_2$，分别输入到 draft model（自回归头），从而预测采样结果的特征 $f_2$，进而生成后续的 token。 作者提出了两个 motivation 特征级别的自回归（LM Head 前）比 token 级别的自回归（LM Head 后）更为直接 特征级别的自回归固有的不确定性限...
已过时 本文主要使用阿里云提供的 Docker 相关服务进行配置。 安装 Docker创建 /etc/apt/keyrings 目录，并下载 Docker 的官方 GPG 密钥（阿里云）到该目录： 123sudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL http://mirrors.cloud.a...
平台介绍Win11 + WSL2 Ubunut 24.04 步骤安装 QEMU 和镜像配置工具： 12sudo apt install qemu-systemsudo apt install cloud-image-utils 由于 WSL 无图形输出，这里选择使用 Ubuntu Cloud Image 进行无图形化版本安装。 下载 Ubuntu Cloud Image，这里选择 24.0...
平台：WSL2 Ubuntu 24.04 编译安装根据 NCNN how-to-build，首先安装交叉编译器 Arm GNU Toolchain，选择 arm-gnu-toolchain-13.3.rel1-x86_64-aarch64-none-linux-gnu.tar.xz。 解压并设置环境变量后，执行以下编译命令： 12345cd <ncnn-root-dir>mk...
WSL2 默认使用 NAT 网络，无法直接访问局域网内的设备。本文介绍如何配置 WSL2 使用桥接网络，使 WSL2 能够直接访问局域网内的设备。 首先，需要在 Windows 上安装 Hyper-V。注意，只有 Windows 专业版才支持 Hyper-V。 安装完成后，打开 Hyper-V 管理器，点击虚拟交换机管理器，创建一个新的虚拟交换机 <yourNewEthernet>...
程序启动/Megatron-LM/examples/pretrain_gpt_distributed.sh 使用 torchrun 启动多进程 pretrain_gpt.py torchrun预训练pretrain_gpt.py 调用 pretrain 函数进行预训练。 123456if __name__ == "__main__": pretrain(train_...
一位小姑娘在向前伸出的双手里捧着一只疲倦的小狗。两位先生相互交换着信息。其中一个手心向上，有节奏的摆动着双手，仿佛拖着什么悬空的重物。这时，走来了一位女士，她的帽子上饰有许多缎带、别针和花朵，一个挂着细手杖的年轻人匆匆而过，他那似乎瘫痪的左手平放于胸前。不时走来一些男人，他们抽着烟，嘴里冒出一缕缕直而长的小烟云。有三位先生——其中的两个把轻便的外衣搭在屈伸的下臂上——多次从房屋墙根走到人行...