蒙妮坦手游站:纯净绿色软件游戏下载网站

电脑软件| 软件合集| 最近更新| 网站地图

当前首页:首页 > 电脑软件 > 编程开发 > 腾讯Angel

腾讯Angel

腾讯Angel

类型:编程开发版本:v1.0官方正式版更新:2024-06-30 10:32:20大小:18.9M系统:WinAll语言:简体

Angel是腾讯大数据部发布的第三代计算平台,是用Java和Scala语言开发的面向机器学习的高性能分布式计算框架。腾讯Angel平台采用参数服务器架构,解决了上一代框架的可扩展性问题,支持数据并行和模型并行的计算模式,可支持十亿维的模型训练。

基本简介

Angel是基于参数服务器概念的高性能分布式机器学习平台。基于腾讯中的海量数据反复调优,具有广泛的适用性和稳定性。模型维度越高越明显优势。Angel由腾讯和北京大学联合开发,兼顾了工业界的高可用性和学术界的创新性。

Angel的核心设计理念是围绕模型展开的。它将高维大模型合理划分为若干个参数服务器节点,通过高效的模型更新接口和运算功能,以及灵活的同步协议,轻松实现各种高效的机器学习算法。

Angel基于Java和Scala,可以直接调度运行在社区的Yarn上。基于PS服务,支持Spark on Angel,未来将支持图计算和深度学习框架集成。

版本特征

Angel 1.0.0新特性:

1.参数Server 功能

基于矩阵/向量的自动模型分割和管理,兼顾稀疏和密集格式。

支持对模型的推拉操作,可以自定义复杂的psFunc。

提供各种同步控制机制(BSP/SSP/ASP)。

2.开发和运营

语言支持:系统基于Scala和Java开发,用户可以自由选择。

易于部署:可以直接在Yarn社区版运行,也支持本地调试模式。

数据分段:自动分段读取训练数据,默认兼容Hadoop FS接口。

增量训练:训练时会自动进行检查点,加载模型后支持增量训练。

3.PS服务

只启动PSServer和PSAngent为其他分布式计算平台提供PS服务。

基于PS-Service,直接开发Spark-on-Angel算法,无需修改Spark核心代码,无缝支持Breeze数值运算库。

4.算法库

集成逻辑回归、SVM、KMeans、LDA、MF、GBDT等机器学习算法。

各种优化方法,包括ADMM,OWLQN,LBFGS和GD。

支持多种损失函数和评估指标,包括L1和L2正则化项。

5.算法优化

LDA采用F+LDA算法加快采样速度,同时采用流式参数采集方式,减少网络参数采集的延迟。

GBDT采用两阶段树分裂算法,将部分计算转移到PS上,减少网络传输,提高速度。

标签: 编程软件