关注的会议
USENIX Annual Technical Conference(USENIX ATC) CCF-A 1 月 International Conference on Supercomputing(ICS) CCF-B 2 月 ACM International Conference on Computing Frontiers(CF) CCF-C 2 月 International...
USENIX Annual Technical Conference(USENIX ATC) CCF-A 1 月 International Conference on Supercomputing(ICS) CCF-B 2 月 ACM International Conference on Computing Frontiers(CF) CCF-C 2 月 International...
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertaintyhttps://chlience.com/EAGLE 简介:在 EAGLE 的基础上,使用动态的 draft tree,去掉接受率较低的 token,从而减少浪费,使得 draft tree 更深。 作者发现,不同的 draft tree 上相同位置的节点的...
简介:将输入词的特征 $f_1$ 和 Origin LLM 预测的分布 $p_2$ 进行多次采样 $e_2$,分别输入到 draft model(自回归头),从而预测采样结果的特征 $f_2$,进而生成后续的 token。 作者提出了两个 motivation 特征级别的自回归(LM Head 前)比 token 级别的自回归(LM Head 后)更为直接 特征级别的自回归固有的不确定性限...
已过时 本文主要使用阿里云提供的 Docker 相关服务进行配置。 安装 Docker创建 /etc/apt/keyrings 目录,并下载 Docker 的官方 GPG 密钥(阿里云)到该目录: 123sudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL http://mirrors.cloud.a...
平台介绍Win11 + WSL2 Ubunut 24.04 步骤安装 QEMU 和镜像配置工具: 12sudo apt install qemu-systemsudo apt install cloud-image-utils 由于 WSL 无图形输出,这里选择使用 Ubuntu Cloud Image 进行无图形化版本安装。 下载 Ubuntu Cloud Image,这里选择 24.0...
平台:WSL2 Ubuntu 24.04 编译安装根据 NCNN how-to-build,首先安装交叉编译器 Arm GNU Toolchain,选择 arm-gnu-toolchain-13.3.rel1-x86_64-aarch64-none-linux-gnu.tar.xz。 解压并设置环境变量后,执行以下编译命令: 12345cd <ncnn-root-dir>mk...
WSL2 默认使用 NAT 网络,无法直接访问局域网内的设备。本文介绍如何配置 WSL2 使用桥接网络,使 WSL2 能够直接访问局域网内的设备。 首先,需要在 Windows 上安装 Hyper-V。注意,只有 Windows 专业版才支持 Hyper-V。 安装完成后,打开 Hyper-V 管理器,点击虚拟交换机管理器,创建一个新的虚拟交换机 <yourNewEthernet>...
程序启动/Megatron-LM/examples/pretrain_gpt_distributed.sh 使用 torchrun 启动多进程 pretrain_gpt.py torchrun预训练pretrain_gpt.py 调用 pretrain 函数进行预训练。 123456if __name__ == "__main__": pretrain(train_...
一位小姑娘在向前伸出的双手里捧着一只疲倦的小狗。两位先生相互交换着信息。其中一个手心向上,有节奏的摆动着双手,仿佛拖着什么悬空的重物。这时,走来了一位女士,她的帽子上饰有许多缎带、别针和花朵,一个挂着细手杖的年轻人匆匆而过,他那似乎瘫痪的左手平放于胸前。不时走来一些男人,他们抽着烟,嘴里冒出一缕缕直而长的小烟云。有三位先生——其中的两个把轻便的外衣搭在屈伸的下臂上——多次从房屋墙根走到人行...
浅浅放个 github 仓库以供参考,后期可能会完善(鸽),并写一些 OS 比赛的东西