哈尔滨工业大学 直博五年级 · 博士候选人 · 计算学部 · 计算机科学与技术
2022.09 – 至今（预计 2027.06 毕业）科协青培博士人才国家奖学金
- 导师：刘挺教授（校长）；实验室：社会计算与交互机器人研究中心（SCIR）
- 研究方向：自然语言处理、大模型、Agentic RL、Harness Agent 训练、指令遵循
- 一作发表论文 9 篇（CCF-A 4 篇、CCF-B 4 篇、SCI-Q1 1 篇），另有 6 篇 CCF-A 在投
哈尔滨工业大学本部，SCIR实验室直博生，研究方向为大模型 Agentic RL后训练与指令遵循。以第一作者（含共一）在 NeurIPS、ICLR、ACL、 EMNLP、NAACL、COLING、IPM 等顶级会议/期刊发表论文 9 篇（CCF-A 4 篇、CCF-B 4 篇、SCI-Q1 1 篇）， 另有 6 篇 CCF-A 在投。华为小艺业务部的首批顶尖人才计划实习生、部门实习生领头人。
教育背景EDUCATION
哈尔滨工程大学 本科 · 计算机科学与技术
2018.09 – 2022.07ACM银牌国家奖学金
研究方向RESEARCH INTERESTS
智能体强化学习（Agentic RL）
2024 – 至今- 通过工具调用获取环境与人类反馈、持续更新模型参数来提升性能上限，是大模型后训练的主流技术路线
- 研究覆盖：长程训练的稳定性与上限提升（NeurIPS 2026、EMNLP 2025×2、ICLR2027 在投）、自适应快慢思考（ICLR 2026）、工具环境与数据合成（NeurIPS 2026、ICLR 2027 在投）、轻量化 Harness 与 In-Harness RL（AAAI 2027 在投）
指令遵循（Instruction Following）
2025.06 – 至今- 在给出回答的同时额外满足用户指定的约束条件，是智能体对话与长程任务执行的必备能力
- 研究覆盖：RL 训练下指令遵从泛化性机制与上限提升（ACL 2026、ICLR 2027 在投）、多模态指令遵循 RL 数据合成（ACL-ARR 在投）、在线策略蒸馏 OPD 在其上的应用（ICLR 2027 在投）
发表论文· 一作/共一 9 篇PUBLICATIONS
- CCF-A
Unveiling Entropy-Performance Decoupling in Agentic RL for Tool-Integrated Reasoning
发现轨迹中的无效交互是长程 Agentic RL 训练后期性能停滞的关键原因；通过在训练中监控无效交互次数，并提前截断轨迹，实现提升训练稳定性；减少 34% 的无效交互，同时性能上限提升 3% - CCF-A
ClawBenchPro: Benchmarking How Well Agent Harnesses Work
设计 Harness 的数据生产线，合成多样化的测试数据集，评测不同 Agent 在不同 Harness 下的表现与差异 - CCF-A
AutoTool: Automatic Scaling of Tool-Use Capabilities in RL via Decoupled Entropy Constraints
解耦 Agentic RL 下不同问题的熵约束策略，实现在环境交互过程中，根据难度自适应地快慢思考 - CCF-A
TinyJudge: Unverifiable Constraint Alignment via Lightweight Specialist Ensembles
轻量小型奖励专家模型的训练与集成（~0.6B），来提升强化学习下指令遵从的泛化能力：平均性能 +10%、奖励精度 +12%、训练速度 3× - SCI-Q1
Human Cognitive Process Aligned Rumor Detection with Small Language Models Enhanced Large Language Models
- CCF-B
Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch
发表业界首篇, 面向通用领域, 基于 GRPO 进行 Agentic Tool Use 训练的论文 - CCF-B
iTool: Reinforced Fine-Tuning with Dynamic Deficiency Calibration for Advanced Tool Use
- CCF-B
Moderation Matters: Exploring Large Language Models for Effective Rumor Detection on Social Media
- CCF-B
RU22Fact: Optimizing Evidence for Multilingual Explainable Fact-Checking on Russia-Ukraine Conflict
在投论文（CCF-A，6 篇）
- 在投
Less Harness, More Signal: Efficient In-Harness RL for Autonomous Agents
构建轻量化的 Harness 以及无效 token 掩码策略来支撑低成本的 In-Harness RL 训练：训练资源开销↓8×、推理开销↓32% - 在投
Precision Bounds Diversity: Reward Engineering for Instruction Following via RLVR
反馈信号质量是指令遵从 RL 中的关键瓶颈；提出通过控制训练数据中的约束密度，以低成本提升模型的性能上限 +5% - 在投
EnvCraft: Synthesizing Executable Environments in Agentic RL for Claw-like Agent
Harness Agent 的工具环境与数据合成生产线：139 个交互环境、约 2 万复杂交互任务 - 在投
Constraint-Decoupled On-Policy Distillation for Multi-Constraint Instruction Following
- 在投
Not Every Tool Call Helps: Fine-Grained Credit Assignment for Efficient Tool-Integrated Reasoning
- 在投
Towards Scalable RLVR: Multimodal Instruction Following Data Synthesis and Distillation
实习经历INDUSTRY EXPERIENCE
华为（北京）小艺 · 基础算法开发部 AI算法工程师
2024.09 – 2026.09首批顶尖人才计划实习生部门实习生领头人（带 7 人实习生团队）
作为研究型实习生，负责华为小艺大模型的系统后训练技术的先导探索：在 Agentic RL、Harness Agent 训练、指令遵循方向产出 12 项研究成果，其中 4 项落地小艺版本业务。
▸ Agentic RL 算法研发
- 发现长程 Agentic RL 训练后期性能停滞/崩溃的一个关键原因是轨迹中的大量无效交互，通过提前截断轨迹 + token 掩码提升训练稳定性与上限【NeurIPS 2026; ICLR2027 在投】
- 提出解耦熵约束策略，实现大模型使用工具时依据问题复杂度自适应调整快慢思考模式 【AutoTool, ICLR 2026】
- 昇腾训练生态适配，探索 RL 训练信用分配机制，发表首篇面向通用领域基于 GRPO 进行 Agentic Tool Use 训练的论文【Tool Zero, EMNLP 2025; iTool, EMNLP 2025】
▸ Harness Agent 训练体系搭建
- 构建 SFT 数据生产流水线，产出 2+ 万条数据、覆盖 42 类 Harness 使用场景，支撑大规模 Agent 训练数据供给【NeurIPS 2026】
- 主导搭建 139 个 Agentic RL Tool 环境，支撑业务 Agentic RL 先导探索【ICLR 2027 在投】
- 设计轻量化 Harness，支撑大规模在线 In-Harness RL 训练，训练资源开销减少 8 倍、推理开销减少 32%【AAAI 2027 在投】
▸ Agent 指令遵循性能提升
- 发现 RL 影响指令遵从能力的关键瓶颈是反馈信号质量，提出多约束下的密度控制，低成本提升指令遵从性能上限，落地小艺自研模型，对话满意度 81→89【ICLR 2027 在投】
- 轻量专家集成方法缓解多约束场景下强化学习的 reward hack 问题：平均性能 +10%、奖励精度 +12%、训练速度 3× 【TinyJudge, ACL 2026】
- 探索在线策略蒸馏（OPD）在指令遵从中的应用，解耦-聚合修正教师在多约束下的分布，性能 +4%【ICLR 2027 在投】
开源项目OPEN SOURCE
ClawLoop 轻量化 Harness 及 RL 训练框架
2026.06 · ⭐ 33轻量化专门用于 Agentic RL 训练的 harness 及其训练代码 in Verl，支撑大规模在线 In-Harness RL 训练
ClawForge (EnvCraft) Agentic RL 交互环境、配套训练代码及模型
2026.06 · ⭐ 91139 个沙箱隔离交互环境、约 2 万复杂任务，支持 claw-like agent RL 训练
MIFS 多模态指令遵循数据集
2026.06 · 11k+ downloads支持 RLVR 训练的多模态指令遵循数据集
荣誉奖项HONORS & AWARDS
- ★ 中国科协青年科技人才培育工程博士生专项计划 · 2026
- 华为火花奖 · 2026
- agent skill 渐近式披露
- 指令遵循泛化性探索
- 教育部国家奖学金；各级校级奖学金
- ACM 省赛银牌（队长） · 2021
- 全国大学生数学竞赛二等奖 · 2020
- 全国大学生数学建模竞赛一等奖 · 2019
项目经历PROJECTS
惊堂木 — 虚假信息检测系统小程序 主导开发
2025.01基于大模型的社交媒体虚假信息检测系统，支持实时谣言识别与证据溯源；配套 HuggingFace Demo
活字大模型开源项目 开源贡献
2023.10哈工大活字大模型（GitHub ⭐200+），负责相关训练数据的收集与整理