Mars

Mars 是基于张量的,用于进行大规模数据计算的统一计算框架

Mars tensor

文档

Mars tensor - 提供类似 Numpy API 的分布式张量库

Numpy Mars tensor
import numpy as np
a = np.random.rand(1000, 2000)
(a + 1).sum(axis=1)
import mars.tensor as mt
a = mt.random.rand(1000, 2000)
(a + 1).sum(axis=1).execute()

适应各种数据规模

Mars 可以在单台机器上运行,也可以扩展到上百台机器组成的集群中运行,且在两种环境下可使用相同的代码。因此,Mars 可以方便地从单台机器迁移到集群,以适应数据量的增长。