也不是什么都没做,他整理了很多记忆中,前世看到的各种数据资料。

  比如谷歌人工智能芯片:TPU(Tensor Processing Unit),张量处理器。

  这是财大气粗的谷歌,针对机器学习算法而专门制作,一款训推一体的Ai芯片。

  如果说CPU,GPU是比较万能的工具,那么TPU就是专用工具。

  TPU就是谷歌专门为加速深层神经网络运算能力而研发的一款芯片。

  它有更高效能的深度机器学习能力。

  据说,TPU与同期的CPU和GPU相比,可以提供15-30倍的性能提升,以及30-80倍的效率(性能/瓦特)提升。

  每一个操作需要更少的晶体管,用更多精密且大功率的机器学习模型,并快速应用这些模型,因此用户便能得到更正确的结果。这就是TPU。

  在李易的记忆中,谷歌最新发布的TPU 芯片,包含1个张量核心,每个张量核心有4个矩阵乘法单元、1个向量单元和1个标量单元。

  较比上一代产品,每美元可提供高达2倍的训练性能。

  对于大型语言模型和生成式AI模型,每美元可提供2.5倍的推理性能。

  成本却不到上一代的一半。

  最新上线的TPU支持多达256个芯片互连,总带宽超过400Tb/s,INT8性能达到100petaOps,从而解决更复杂的计算任务。

  Ai模型的参数数量以每年10倍的速度增长。

  而芯片性能每年最多增长2~3倍,单芯片性能增长根本撑不住。

  所以,必须通过集群扩展和稀疏化模型来应对飙涨的算力需求。

  传统的设计和构建计算基础设施的方式,无法满足生成式AI和大型语言模型指数级的增长需求。

  这就需要做许多事情,将TCO性能提升几十倍、数百倍!

  李易不是这方面的专家,他只是看过相关的报道。

  星海半导体也不是直接抄袭,而是做相关的研究,彻底消化这方面的东西。

  至少有一点可以确定。

  就是有了一个确切的研究方向,能少走很多弯路。

  商兵华的加入,能将星海半导体的人工智能芯片提速!

  除-->>

章节列表 转码阅读中,不进行内容存储和复制