資料來源:火山引擎-開發者社區

ICLR 2025 大會即將在新加坡圓滿落幕,作為機器學習領域的頂尖學術會議,ICLR 聚集了來自全球的學者與產業界代表。4 月 26 日,字節跳動開源強化學習框架 veRL 的核心參與者童雨軒、禹棋贏以《verl: Flexible and Efficient Infrastructures for Post-training LLMs》為主題,分享了這一框架的技術研發與落地經驗,并在問答環節與現場觀眾展開熱烈的互動討論。

veRL:靈活高效的強化學習框架

veRL 是字節跳動開源的強化學習框架,兼具靈活性、高效性和穩定性,且十分適用于生產環境,為大型語言模型的訓練提供了強大的支持。目前 veRL 已在 GitHub 開源,廣泛應用于眾多優秀項目,贏得了全球開發者的關注:

• 靈活易用:通過混合編程模型,能輕松擴展多種強化學習算法。即使對 RL 不了解的用戶,也能通過幾行代碼構建復雜的后訓練數據流。
• 速度更快:集成先進的 LLM 訓練和推理框架,實現高生成和訓練吞吐量,訓練吞吐量相比其他框架最高提升20 倍。
• 開源生態:模塊化 API 可實現與現有 LLM 框架的無縫集成;支持在不同 GPU 組合上靈活部署模型;能與 HuggingFace 模型集成。

veMLP 深度集成 veRL,提供一站式模型定制方案

火山引擎機器學習平臺(veMLP)是面向機器學習應用開發者,提供豐富的建模調試工具以及多框架、高性能推理服務的企業級云原生機器學習平臺。具備豐富開源模型支持、高效穩定、成本優化、開發友好四大特點,向企業提供一站式 AI 基礎設施解決方案。

為了幫助企業及開發者更高效地進行強化學習訓練,提升模型效果,veMLP 深度集成 veRL 框架,推出完整的模型訓練解決方案,從集群部署、任務監控到實驗管理,為用戶提供一站式模型訓練體驗。

• Ray 集群一鍵拉起

傳統 Ray 集群的搭建往往需要專業運維人員花費大量時間進行配置和調試。機器學習平臺打破了傳統后訓練的復雜流程,支持一鍵拉起 Ray 集群,大幅降低使用門檻。

• 訓練狀態一目了然

veMLP 提供了可視化監控工具,讓用戶隨時掌握訓練動態。發起訓練任務后,用戶可通過原生 Ray Dashboard / HistoryServer 查看詳細任務運行狀態和日志,更好管理任務進程。

• 全維度實驗管理

支持監測不同模型的實驗對比,包括訓練過程中的各項指標、不同數據集上的評測效果、訓練耗時等,實驗數據直觀呈現。

強強聯合,共創絲滑訓練體驗

veRL 和 veMLP 可以說是真正的"親兄弟",都由字節跳動團隊開發維護,這樣的組合意味著您能獲得更順暢的模型訓練體驗。

通過 veMLP,可以最快獲知 veRL 的重要更新,為技術升級做好充分準備。veRL 的新版本也會第一時間同步上線 veMLP,確保用戶始終使用最穩定、最優化的生產級方案。