Qwen2.5-coder-base 强化学习训练系统：RLOO算法实现

Qwen2.5-coder-base 强化学习训练系统：RLOO算法实现

1. 项目概述与架构设计

1.1 项目目标

本项目旨在使用RLOO（Reinforcement Learning with Online and Offline）算法对Qwen2.5-coder-base模型进行强化学习训练，提升代码生成的质量和正确性。系统结合离线数据训练（基于CodeNet数据集）和在线交互训练（基于代码执行反馈），实现交替训练循环。

1.2 系统架构

├── data_processing/ # 数据处理模块
├── models/ # 模型定义与加载
├── offline_trainer/ # 离线训练模块
├── online_trainer/ # 在线训练模块
├── rloo_trainer/ # RLOO主训练循环
├── evaluation/ # 评估指标计算
├── utils/ # 工具函数
└── configs/ # 配置文件

2. 环境配置与依赖安装

# re