不就是现成的DPO训练对吗？有Bug的是坏例子，修复后的是好例子，天然的偏好数据。”