Too Fast | RL 后训练、RL Infra 与 Co-design 研究档案

Too Fast | RL 后训练、RL Infra 与 Co-design 研究档案https://chlience.com/记录 RL 后训练、RL Infra 与训练—系统 Co-design 中的问题、实验和工程判断。zh-CNLM Loss 阅读补充https://chlience.com/articles/lm-loss-reading-notes/https://chlience.com/articles/lm-loss-reading-notes/关于语言模型损失函数的阅读补充，涉及交叉熵的替代方案、恰当评分规则、Fenchel–Young 损失，以及 Softmax、Sparsemax 与 Entmax 的关系。Tue, 11 Aug 2026 00:00:00 GMTAttention Residuals 阅读补充https://chlience.com/articles/attention-residuals-reading-notes/https://chlience.com/articles/attention-residuals-reading-notes/Attention Residuals 的相关知识沉淀与分析；从 RMSNorm 出发，进一步分析层间注意力的算术量、访存、激活显存和流水线通信。Wed, 05 Aug 2026 00:00:00 GMT用 AI 把模糊研究想法整理成路线图https://chlience.com/articles/ai-research-roadmap/https://chlience.com/articles/ai-research-roadmap/AI 可以帮助研究者暴露含糊、整理依赖并审查计划；研究价值、指标选择与最终取舍仍由人完成。Wed, 06 May 2026 00:00:00 GMT