2024全球AI芯片峰会（GACS 2024）近期在北京举行。本届峰会以「智算纪元 共筑芯路」为主题，全面展示AI芯片产业在算力、网络、存储、软件、系统及应用方面的前沿技术、最新成果与落地进程。

　　云天励飞副总裁、芯片产品线总经理李爱军受邀参加峰会，并在大会上介绍了“算力积木”AI芯片架构。

　　李爱军在演讲中提到，大模型的落地给边缘AI芯片带来全新挑战。

　　场景具有丰富性和碎片性的特点，用于边缘的大模型的参数量从1。8B到13B不等，不同场景应用对算力、内存、带宽的要求也不尽相同。因此，边缘AI芯片需要有很强的灵活性和扩展性，以满足不同大模型落地不同场景的需求。

　　在此背景下，云天励飞提出了“算力积木”AI芯片架构，让芯片能够像搭积木一样灵活组建、灵活扩展。

　　去年底云天励飞正式发布的DeepEdge10系列芯片就是采用“算力积木”架构设计的。

　　DeepEdge10系列芯片基于一个标准化的大模型计算单元打造，可实现1。8B大模型的实时高效推理。通过D2D Chiplet技术、C2C Mesh技术和C2C Mes Torus技术，云天励飞将标准计算单元像搭积木一样，封装成不同算力的芯片，可实现7B、14B、130B等不同参数量大模型在边缘端的高效推理。

　　在标准化算力单元方面，云天励飞也做了许多技术上的创新，以实现大模型在边缘端的高效推理。

　　一是设计了近存计算架构，可实现Transformer计算的超低延时。通过可编程路由引擎，可以实现高效分布式的并行计算。

　　二是通过自研的多Router协同机制，可以有效地提高大模型的参数数据响应速度，满足高效推理的需求。

　　三是在C2C Mesh Torus结构上，通过自适应Router结构，减少数据搬运次数，减少计算对带宽的需求。

　　通过上述技术创新，云天励飞实现了8×16个标准“算力积木”单元的Mesh Torus架构互联，可提供2048Tops统一管理智能算力、512GB统一寻址内存容量、3840GB/s统一调度内存带宽。

　　未来，云天励飞还会推出基于Mesh Torus架构的大模型边缘推理一体机：IPU X6000-Mesh 4U Server，以高峰值算力与突出的能效比支持大模型的单机部署，包括7B、70B、MoE等主流大模型的边缘侧推理部署。

　　云天励飞一直坚持走芯片自主研发路线，希望能够通过架构创新，在国产工艺上实现芯片性能的突破，为行业带来更高性价比的产品。

免责声明：以上内容为本网站转自其它媒体，相关信息仅为传递更多信息之目的，不代表本网观点，亦不代表本网站赞同其观点或证实其内容的真实性。如稿件版权单位或个人不想在本网发布，可与本网联系，本网视情况可立即将其撤除。