AGI Daily
资讯日报词条论文人物新创
John Schulman · 人物 | AGIDaily
人物目录

John Schulman

也称 约翰·舒尔曼

Thinking Machines 联合创始人兼首席科学家,研究强化学习与语言模型对齐,是 TRPO、PPO 和 InstructGPT 的共同作者。

个人介绍

John Schulman 研究强化学习和语言模型对齐,是 Thinking Machines 的联合创始人兼首席科学家。他在加州大学伯克利分校攻读博士期间研究机器人与强化学习,随后成为 OpenAI 创始团队成员,并曾在 Anthropic 的 Alignment Science 团队工作。

他的研究贯穿策略优化和人类反馈训练:TRPO 与 PPO 探索如何稳定更新行动策略;InstructGPT 将人类示范、偏好排序与强化学习结合,用于改善语言模型遵循指令的能力。他在 OpenAI 期间参与领导 ChatGPT 的创建,并于 2022 至 2024 年共同领导后训练团队。

机构与经历

  • Thinking Machines Lab

    联合创始人兼首席科学家

  • OpenAI

    联合创始人、前后训练团队联合负责人

    后训练团队:2022–2024

  • Anthropic

曾在 Alignment Science 团队研究模型对齐

加入 Thinking Machines 之前

公开联系方式

  • 个人主页
  • GitHub

研究成果

这些工作把策略更新的稳定性问题与语言模型的人类反馈训练连接起来。TRPO 和 PPO 提供可操作的优化方法,InstructGPT 则展示了如何用人类反馈改善回答行为,而不仅依靠扩大预训练模型。

  • Trust Region Policy Optimization

    2015

    第一作者。通过限制策略更新幅度来改善强化学习训练的稳定性,并在模拟运动控制和 Atari 任务上评估。

    暂未收录引用统计

  • Proximal Policy Optimization Algorithms

    2017

    第一作者。提出便于实现的策略梯度方法,在环境采样与代理目标优化之间交替,允许对一批数据进行多轮小批量更新。

    暂未收录引用统计

  • Training language models to follow instructions with human feedback

    2022

    共同作者。结合人类示范、输出偏好排序和强化学习训练 InstructGPT,在论文的提示分布上改善人类对回答的评价。

    暂未收录引用统计

参考来源

  1. John Schulman 个人主页:现职与研究经历
  2. TRPO:ICML 2015 作者与摘要
  3. PPO:原论文作者与摘要
  4. InstructGPT:原论文作者与摘要
  5. John Schulman 的 GitHub:代码与头像来源

在文章或论文中关联此人

[John Schulman](/people/john-schulman)