德赢Vwin官网 网报道(文/周凯扬)近日,一家由哈佛辍学生成立的初创公司Etched,宣布了他们在打造的一款“专用”AI芯片Sohu。据其声称该芯片的速度将是英伟达H100的20倍,但只能跑transformer架构的模型。
Sohu,比H100快上20倍
之所以打算Sohu这一自研ASIC AI芯片,是因为Etched认为GPU在性能升级上的速度太慢了。如果以H100的单位面积算力和交期作为参考,那么从2022年到2025年,英伟达的H100迭代至B200,2.5年的时间内性能只有15%的提升。所以要想有效提高性能的方式,只有走特化的ASIC芯片一途。
现在发布的任何AI芯片,在提到性能时,无疑都会把英伟达的H100作为对比参照,Etched的Sohu也不例外。根据Etched提供的数据,单个Sohu服务器运行Llama 70B时可以做到50万Tokens每秒,这一速度是单个H100服务器的20倍以上,也是单个B200服务器的10倍以上。
在服务器的配置上,Sohu服务器和H100服务器均采用的8卡的配置,所以Etched强调一个8xSohu的服务器就可以替换掉至少160个H100,大大降低成本的同时,也不会有性能损失。
由于Sohu仅支持一种算法,所以绝大多数的控制流模块都可以被剔除,芯片可以集成更多的数学计算单元,在算力利用率上可以达到90%以上,而GPU却只能做到30%。这也是因为在GPU的电路设计上,用于矩阵乘法的晶体管数量甚至没有占到10%。不过Etched对于英伟达的设计还是相当佩服的,指出如果同时想支持CNN、LSTM、SSM等其他模型,确实很难做得比英伟达更好。
当然了,这里的测试条件也必须做一个说明,测试标准为FP8精度的Llama 70B,无稀疏,其中H100是基于最新版本的TensorRT-LLM测试的,而B200由于还未交付,所以其性能是预估的。
为何专攻Transformer模型
市面上的AI芯片和GPU产品为了覆盖更灵活的客户需求,尽管不少都采用了ASIC的设计方案,但支持的模型却不会局限在一类。Etched也在其官网列出了市面上一些竞品方案,包括英伟达的GPU、谷歌的TPU、亚马逊的Trainium、Graphcore的IPU、Tenstorrent的Grayskull和英特尔的Gaudi等等,这些方案无一不对广泛的AI模型提供了支持。
但我们从市面上头部的模型来看,几乎占据主导地位的都是transformer架构的模型,比如GPT、Sora、Gemini和Stable Diffusion。Etched很大方地表示,如果哪一天transformer被SSM、RWKV或其他新的架构替代了,他们的芯片将变得一无是处,对于千变万化的AI市场而言,绝大多数厂商都不敢没法做出这样的预测。
而Etched从2022年底,就赌transformer模型将会统治整个市场。这在当时还没有ChatGPT的年代,是一个大胆的预测,毕竟当时图像生成还有基于CNN的U-Net,不少自动驾驶的视觉处理也还在广泛使用CNN。而且对于一个规模不算大的设计团队而言,维护单一架构的软件栈明显压力更小一些,他们只需要为transformer编写驱动、内核即可。
写在最后
至于Etched的这场豪赌是否能成功,还得看芯片的成品表现如何。虽然他们尝试的这条路线没人走过,但财力和研发能力均在他们之上的厂商也没能打造出超过英伟达GPU的竞品,硅谷的VC们能否造出新神,依然不能过早下定论。
全部0条评论
快来发表一下你的评论吧 !