单芯片每秒 1000 万亿次运算：来自原谷歌 TPU 团队的全新 AI 架构

机器之心报道及参演：张倩、丹江

2016年底，谷歌TPU团队十位核心开发者中的八位悄然离职，成立了一家名为Groq的机器学习系统公司。 在接下来的三年里，该公司一直保持低调。 但最近，他们却带着一种叫做TSP的芯片架构出现在了公众视野中。

TSP的全称是Tensor Streaming Processor，专为机器学习等AI相关需求而设计。 该架构可以在单芯片上实现每秒1000万亿次（10的15次方）次运算，是全球首个达到该性能水平的架构。 其浮点运算性能可达每秒250万亿次运算（TFLOPS））。 在摩尔定律消亡的背景下，这种架构的出现标志着芯片之战从晶体管向架构的转变。

250 TFLOPS浮点性能是什么概念？ 目前世界排名第一的超级计算机Summit，其峰值计算能力为200,794.9 TFLOPS，背后是28,000个NVIDIA Volta GPU。 如果 TSP 达到类似的效率，则只需 803 个块即可达到相同的性能。

Groq 在一份白皮书中介绍了这种新的架构设计。 此外，他们还将在美国丹佛举行的第23届国际超级计算峰会上展示这一成果。 白皮书地址：

“我们对这个行业和我们的客户感到兴奋，”Groq 联合创始人兼首席执行官乔纳森罗斯说。 “顶级 GPU 公司声称他们有望在未来几年内向用户提供 petaflop 性能产品，但 Groq 现在已经做到了，并建立了新的性能标准。 在低延迟和推理速度方面，Groq 的架构比任何其他推理架构都要快很多倍。 我们与用户的互动证明了这一点。”

Groq 的 TSP 架构专为满足计算机视觉、机器学习和其他 AI 相关工作负载的性能要求而设计。 “Groq 的解决方案非常适合需要深度学习推理操作的广泛应用，”Groq 的首席架构师 Dennis Abts 说，“但除此之外，Groq 的架构还可以用于广泛的工作负载。它的性能和简单性使其成为是所有高性能数据和计算密集型复杂工作负载的理想平台。”

一个“简单”的AI芯片架构

Groq 的架构受到“软件至上”理念的启发。 它在 Groq 开发的 TSP 中实现，为实现计算灵活性和大规模并行计算提供了新的范例，但没有传统 GPU 和 CPU 架构的限制和通信开销。 “软件至上”的硬件设计理念

在 Groq 的架构中，Groq 编译器负责编码一切：数据流入芯片并在正确的时间和正确的位置插入，以确保计算实时发生，没有停顿。 执行计划由软件负责，释放宝贵的硬件资源，否则这些资源将用于动态指令执行。 这使得 Groq 的芯片性能具有确定性。 编译器动态地重新配置硬件来执行每个计算，因此编译器和芯片之间没有抽象。 由于编译器知道硬件和每条指令的速度，它可以准确地告诉硬件做什么和什么时候做。

在传统架构中，将数据从 DRAM 移动到处理器需要大量的计算能力和时间，并且在相同工作负载上的处理性能也是可变的。 在典型的工作流程中，开发人员通过重复运行工作负载或程序来配置和测试它，以验证和测量其平均处理性能。 由于处理器接收和发送数据的方式不同，这种处理可能会产生略有不同的结果，开发人员的工作是手动调整程序以达到预定的可靠性水平。

但是有了 Groq 的硬件和软件，编译器就可以准确地知道芯片是如何工作的，以及执行每一次计算需要多长时间。 编译器在正确的时间将数据和指令移动到正确的位置，因此没有延迟。 到硬件的指令流是完全编程的，使处理速度更快，更可预测。

开发人员可以在 Groq 芯片上运行同一个模型 100 次，每次都得到完全相同的结果。 这种计算准确性对于安全性和准确性至关重要的应用程序至关重要，例如自动驾驶汽车。

此外，使用 Groq 硬件设计的系统不会受到长尾延迟的影响，人工智能系统可以在特定的功率或延迟预算内进行调整。

这种软件优先设计（即编译器决定硬件架构）的理念帮助 Groq 设计了一个简单、高性能的架构，可以加速推理过程。

该架构既支持传统机器学习模型，也支持新的计算学习模型，目前在客户站点的 x86 和非 x86 系统上运行。

*更简单的架构设计*

为了满足深度学习等计算密集型任务的需求，芯片设计似乎变得越来越复杂。 但 Groq 认为这种趋势从根本上是错误的。 他们在白皮书中指出比特币系统架构，当前处理器架构的复杂性已经成为阻碍开发者生产和部署人工智能应用的一大障碍。 当前处理器的复杂性降低了开发人员的工作效率，摩尔定律正在放缓，越来越难以实现更高的计算性能。

Groq 的芯片设计降低了传统硬件开发的复杂性，因此开发人员可以更多地关注算法（或解决其他问题），而不是针对硬件调整他们的解决方案。 通过这种更简单的硬件设计，开发人员无需进行性能分析，从而节省资源并更容易大规模部署 AI 应用程序。

与基于 CPU、GPU 和 FPGA 的传统复杂架构相比，Groq 的芯片还简化了认证和部署，使客户能够简单快速地实现每瓦可扩展的高性能系统。

实现更高的每个晶体管性能

Groq 的 tensorflow 架构可以在任何需要的地方提供计算能力。 与目前领先的GPU和CPU相比，Groq处理器的每个晶体管都能实现3-6倍的性能提升。 这种改进意味着更好的交付性能、更低的延迟和更低的成本。 因此，Groq 的架构比传统计算平台更易于使用且性能更高。

备受瞩目的 Groq

Groq 总部位于加利福尼亚州山景城，为计算密集型应用程序提供高效的软件驱动解决方案，这些应用程序在性能、准确性和亚毫秒级延迟方面处于行业领先地位。

在成立之初，Groq 就因为其团队构成而备受关注：创始团队的 8 名研发成员均来自谷歌 TPU 核心团队——在此之前，谷歌 TPU 核心团队总共只有 10 人. 谷歌仅用了14个月就发布了TPU，一年后又完成了第二代TPU比特币系统架构，因此外界对Groq的期待非常高。

Groq虽然只是一家成立三年的初创公司，但它的一举一动都会受到外界的高度关注。 今年 9 月，Groq 无缘无故缺席 2019 年 AI 硬件峰会，业界猜测 Groq 是否遇到了公司内部的危机。

Groq 现任 CEO 乔纳森·罗斯是“前谷歌芯片高管”。 他毕业于纽约大学，并在谷歌工作了 5 年多。 他是TPU的主要设计者之一。 他还与非常神秘的Google X实验室有关，该实验室从事的是最前沿的领域，比如太空电梯、无人驾驶汽车、谷歌眼镜等，从某种意义上说，谷歌正在“利用这个实验室追踪100个想法”震撼世界。” 成立之初，Jonathan Ross 担任 Groq 的 CTO，随后于 2018 年底接替 Doug Wightman 担任 CEO。

Douglas Wightman 也是 Google X Labs 的前成员。 在 Groq 成立几个月后，Xilinx 全球销售执行副总裁 Krishna Rangasayee 也加入成为 COO。

就在几天前，Groq 官网宣布 Stuart Pann 也将加入其董事会。 Stuart Pann现任惠普首席供应链官（Chief Supply Chain Officer），之前在英特尔工作33年，负责英特尔微处理器和芯片组业务的定价、收入和预测，控制成本支出，增加收入有很大的帮助深刻的体会。

Groq 目前拥有约 70 名员工，不到英特尔等大型芯片制造商工程师人数的四分之一。 不过，Groq在人工智能产业关键领域的新型芯片研发方面具有相当大的优势 。 这个领域未来可能价值数百亿美元，CEO Jonathan Ross 不久前表示“Groq 不想被收购”。

Groq 最初宣布将在 2018 年发布第一代芯片，但实际发布日期是今年 9 月。 虽然来的晚了点，但也足够惊艳了。

参考链接：

;=时间轴&isappinstalled;=0;=pc

第三届“Synced Machine Intelligence Awards”年度奖项评选正在进行中。 本次评选设置六大奖项，围绕人工智能企业的产品、应用案例和产业落地，根据真实客观的产业表现，评选出最值得关注的企业，为行业带来实用的参考价值。

报名日期：2019年10月23日~2019年12月15日评审时间：2019年12月16日~2019年12月31日获奖公告：2020年1月