Angel是腾讯大数据部发布的第三代计算平台,是用Java和Scala语言开发的面向机器学习的高性能分布式计算框架。腾讯Angel平台采用参数服务器架构,解决了上一代框架的可扩展性问题,支持数据并行和模型并行的计算模式,可支持十亿维的模型训练。
基本简介
Angel是基于参数服务器概念的高性能分布式机器学习平台。基于腾讯中的海量数据反复调优,具有广泛的适用性和稳定性。模型维度越高越明显优势。Angel由腾讯和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。
Angel的核心设计理念是围绕模型展开的。它将高维大模型合理划分为若干个参数服务器节点,通过高效的模型更新接口和运算功能,以及灵活的同步协议,轻松实现各种高效的机器学习算法。
Angel基于Java和Scala,可以直接调度运行在社区的Yarn上。基于PS服务,支持Spark on Angel,未来将支持图计算和深度学习框架集成。
版本特征
Angel 1.0.0新特性:
1.参数Server 功能
基于矩阵/向量的自动模型分割和管理,兼顾稀疏和密集格式。支持对模型的推拉操作,可以自定义复杂的psFunc。提供各种同步控制机制(BSP/SSP/ASP)。2.开发和运营
语言支持:系统基于Scala和Java开发,用户可以自由选择。易于部署:可以直接在Yarn社区版运行,也支持本地调试模式。数据分段:自动分段读取训练数据,默认兼容Hadoop FS接口。增量训练:训练时会自动进行检查点,加载模型后支持增量训练。3.PS服务
只启动PSServer和PSAngent为其他分布式计算平台提供PS服务。基于PS-Service,直接开发Spark-on-Angel算法,无需修改Spark核心代码,无缝支持Breeze数值运算库。4.算法库
集成逻辑回归、SVM、KMeans、LDA、MF、GBDT等机器学习算法。各种优化方法,包括ADMM,OWLQN,LBFGS和GD。
支持多种损失函数和评估指标,包括L1和L2正则化项。5.算法优化
LDA采用F+LDA算法加快采样速度,同时采用流式参数采集方式,减少网络参数采集的延迟。GBDT采用两阶段树分裂算法,将部分计算转移到PS上,减少网络传输,提高速度。腾讯Angel相关下载
- 查看详情PB-JCE解析工具简体2024-06-27
- 查看详情Claris FileMaker Pro(低代码开发工具)简体2024-06-24
- 查看详情ANTS Memory Profiler(程序追踪工具)简体2024-06-23
- 查看详情和码编程学生端简体2024-06-21
- 查看详情DELTA IA-MDS TPEditor(台达文本显示器TP编程软件)简体2024-06-13
- 查看详情 PB-JCE解析工具 简体 2024-06-27
- 查看详情 Claris FileMaker Pro(低代码开发 多国语言[中文] 2024-06-24
- 查看详情 ANTS Memory Profiler(程序追踪工 英文 2024-06-23
- 查看详情 和码编程学生端 简体 2024-06-21
- 查看详情 DELTA IA-MDS TPEditor(台达文本显 简体 2024-06-13
- 查看详情 mongodb(开源数据库软件) 英文 2024-06-30
- 查看详情 MetInfo企业建站系统 简体 2024-06-30
- 查看详情 数据比对工具 简体 2024-06-30