监督学习任务的性能依赖于高质量标注数据，但获取大量标注样本成本高昂。主动学习是一种在标注预算有限、但允许投入部分人工标注资源的条件下，应对标注数据不足的范式。其核心思路是智能地选择最具信息量的样本进行标注，以在有限预算内最大化模型性能的提升。该方法旨在解决当面临标注数据受限时，如何通过策略性采样来高效利用标注资源的问题。
推荐理由：这是 Lilian Weng 数据不足系列的第二篇，把主动学习的核心采样策略和实际权衡讲得很清楚，做数据标注和 ML 工程的同学值得复习一遍。
进化策略是一种在目标函数解析形式未知或无法直接计算梯度时，用于优化模型参数的黑箱优化算法。它作为随机梯度下降的替代方案，适用于多种优化场景。文章介绍了模拟退火、爬山法、Nelder-Mead方法等经典进化策略，并探讨了该方法在深度强化学习中的应用。通过评估目标函数值而非依赖梯度信息，进化策略为复杂优化问题提供了有效路径。
推荐理由：这篇五年前的进化策略入门，至今仍是理解黑箱优化的最佳起点，Lilian Weng的笔法清晰，做RL的朋友可以当字典翻。
该文章系统梳理了策略梯度算法的发展脉络，深入解析其工作原理，并详细介绍了从基础到前沿的多种算法，包括PPO、SAC、TD3、IMPALA等主流方法。文章自2018年起持续更新，陆续新增了D4PG、SVPG、PPG等新算法，并补充了关于PPO的最新讨论。文中还提供了韩语及中文等多个语言版本的翻译，便于不同读者参考。
推荐理由：这篇是当年策略梯度方法的“圣经”级综述，现在看虽然有些过时，但想理解PPO、SAC的来龙去脉还得从这儿啃起。