Manjaro Zsh Configuration Installer
前情提要电脑崩了，被迫重装系统。掏出陈年已久的 X1C2018 Manjaro 临时救急，发现其开箱即用的 zsh 太好使了，于是决定把它的配置搬到我的主力机上。 Manjaro Zsh ConfigManjaro zsh 配置相关文件可以在 manjaro-zsh-config 仓库中查看。 以下是他的几个特性： 使用 powerlevel10k 作为主题 插件包含： zsh-autos...
EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertaintyhttps://chlience.com/EAGLE EAGLE-2: Faster Inference of Language Models with Dynamic Draft Treeshttps://chlience.com/EAGLE-2 核心论点...
关注会议列表
CCF-AUSENIX ATC(USENIX Annual Technical Conference) PUZZLE: efficiently aligning large language models through light-weight context switch SC(International Conference for High Performance Computin...
EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertaintyhttps://chlience.com/EAGLE 简介：在 EAGLE 的基础上，使用动态的 draft tree，去掉接受率较低的 token，从而减少浪费，使得 draft tree 更深。 作者发现，不同的 draft tree 上相同位置的节点的...
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
简介：将输入词的特征 $f_1$ 和 Origin LLM 预测的分布 $p_2$ 进行多次采样 $e_2$，分别输入到 draft model（自回归头），从而预测采样结果的特征 $f_2$，进而生成后续的 token。 作者提出了两个 motivation 特征级别的自回归（LM Head 前）比 token 级别的自回归（LM Head 后）更为直接 特征级别的自回归固有的不确定性限...
安装 Docker 并配置国内镜像源
已过时 本文主要使用阿里云提供的 Docker 相关服务进行配置。 安装 Docker创建 /etc/apt/keyrings 目录，并下载 Docker 的官方 GPG 密钥（阿里云）到该目录： 123sudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL http://mirrors.cloud.a...
使用 WSL + QEMU 进行 ARM64 仿真
平台介绍Win11 + WSL2 Ubunut 24.04 步骤安装 QEMU 和镜像配置工具： 12sudo apt install qemu-systemsudo apt install cloud-image-utils 由于 WSL 无图形输出，这里选择使用 Ubuntu Cloud Image 进行无图形化版本安装。 下载 Ubuntu Cloud Image，这里选择 24.0...
安装 NCNN 以及 ARM 交叉编译器
平台：WSL2 Ubuntu 24.04 编译安装根据 NCNN how-to-build，首先安装交叉编译器 Arm GNU Toolchain，选择 arm-gnu-toolchain-13.3.rel1-x86_64-aarch64-none-linux-gnu.tar.xz。 解压并设置环境变量后，执行以下编译命令： 12345cd <ncnn-root-dir>mk...
在 win11 上为 WSL2 配置桥接网络
WSL2 默认使用 NAT 网络，无法直接访问局域网内的设备。本文介绍如何配置 WSL2 使用桥接网络，使 WSL2 能够直接访问局域网内的设备。 首先，需要在 Windows 上安装 Hyper-V。注意，只有 Windows 专业版才支持 Hyper-V。 安装完成后，打开 Hyper-V 管理器，点击虚拟交换机管理器，创建一个新的虚拟交换机 <yourNewEthernet>...
Megatron 源码分析
程序启动/Megatron-LM/examples/pretrain_gpt_distributed.sh 使用 torchrun 启动多进程 pretrain_gpt.py torchrun预训练pretrain_gpt.py 调用 pretrain 函数进行预训练。 123456if __name__ == "__main__": pretrain(train_...