缓解“AI焦虑症”的解方有哪些？

为了缓解“AI焦虑”，各界苦寻新技术来突破算力瓶颈，包含存算一体、稠密化计算等，都是回应当前“AI焦虑症”的抢手解方。

近期稠密化AI算法的讨论度十分热络，除了新创公司Neural Magic提出新稠密化算法来强化深度学习模型效率，日前在全球AI评测的MLPerf Inference v2.1榜单中，来自深圳AI新创公司墨芯的S30计算卡又以95784 FPS的单卡算力取得ResNet-50模型算力全球第一。

何为AI 稠密化？就很像是玩叠叠乐，游戏玩家将积木块堆叠成一座积木塔后，在轮番取出一块积木的过程中，要避免让积木塔倒塌。研讨AI稠密化技术的过程就像是在玩数字版的叠叠乐，尽可能从神经网络中抽出多余参数，但又要留意着不破坏AI 的超高精度，减少深度学习所需的矩阵乘法堆，进而缩短取得精确结果的时间。

更细致解释，稠密化的实质是在神经网络计算中，每层的神经元只与下一层的一小部分神经元有关联，并且对每张输入图像，激活的神经元只占一切神经元的一小部分。在数学上的表白，就是权重与特征激活矩阵中大部分的元素都是0，只需一小部分非0元素参与计算。

很多人会问，树立深度学习模型难道只能用昂贵的GPU效劳器? 稠密化算法提供另一种途径，经过在原有AI计算的大量矩阵运算中将无效元素剔除，消减神经网络模型冗余来提升算力。除了新创公司的参与，目前已有许多全球科技巨头进入稠密化算法范畴，包含Google、OpenAI、Meta。

去年Google曾提出在不影响AI推理模型的精确性之下，应用AI的稠密性来剔除部分网络权重，将AI模型的速度提升两倍，且模型大小能够大幅减少。

墨芯身为国内引领稠密化算法的新创公司也提出见地：“要完成稠密化技术，现有的硬件必须求能完成高倍率稠密化，并且能支持大范围并行计算，但CPU和GPU都不是理想的硬件，应该要从算法和软件动身来设计出相应的硬件和架构，完成软硬协同。”

同时，软硬协更是AI计算的重要趋向之一。因而，不同于业界多数公司是偏重硬件或是软件算法，墨芯采用的软硬协同设计能够将算力进步1～2个数量级。”

在这次的国际权威AI性能基准评测MLPerf中，国内有不少AI新创公司如壁仞、墨芯初次参与，分别携带自己最强的产品登上MLPerf舞台与英伟达、高通等国际AI芯片企业同台竞技，且在评测中的好成果也添加了许多话题性。

在单卡算力上，墨芯的S30计算卡以95784 FPS的单卡算力夺得ResNet-50模型算力全球第一，而ResNet-50也是数据中心最常运用的主流模型。墨芯的S30是运用台积电12nm工艺，超越英伟达运用的4nm工艺的H100产品，很多人会解读为这次是12nm工艺打败4nm工艺的实证。

不外，由于MLPerf推理榜单分为Closed（固定任务）和Open（开放优化）两个赛道，固定任务看重参测厂商的硬件系统和软件优化的才干，开放优化以参测厂商的AI技术创新力为主。很多人以为这次墨芯的评测是open类，在特定场景中中止稠密部署相对容易凸显优势。

关于选择open赛道做评测的质疑，墨芯表示，这是墨芯第一次参赛，也是唯逐一个做高倍率稠密计算的参赛者，而做高倍率稠密在此次必须去open赛道。

依据MLCommons官网信息，MLPerf为了鼓舞软件和硬件创新，有两个分区，在完成结果时有不同水平的灵活性。封锁任务旨在对硬件平台或软件框架中止规范分歧的比较，请求运用与参考模型相同的模型。开听任务旨在促进创新，允许运用不同的模型或重新锻炼。

简单来说，固定任务更关注硬件才干，而开听任务更关注创新的可能性，即软件和硬件融合的才干。

值得留意的是，假如开听任务的参赛者运用了不同的模型和数据集，需求在提交的结果中标示出来，由此能够提供开听任务和固定任务的比较维度。

从MLCommons发布的结果来看，墨芯采用和closed赛道一样的模型和数据集。再者，closed赛道是个纯硬件的比拼，关于AI加速来说，软硬协同本就是大势，软硬件分离是很具意义的。”

公开资料表明，英伟达目前也开端支持稠密操作，只是还没支持高倍率。再者，英伟达的做法是分离自身特性把稠密化技术参与，但墨芯动身点不一样，创业公司要找一个推翻性角度，必须把稠密化计算做到极致，并引领方向吸收生态协作同伴都能朝这个范畴投入资源加大展开，让稠密化做AI 推理和AI锻炼成为主流。

在专利规划的积聚上，墨芯指出，公司目前曾经积聚30多项中心专利，在专利战略上持续付出庞大努力，一边中止产品研发，一边积聚专利，将算法、软件和硬件一体化。而关于专利战略，墨芯以为维护专利有利于创新，更是商业竞争力的表示，但不会是封锁态度。

关于稠密化技术眼前遇到的最大的应战？墨芯开创人兼CEO王维对《问芯Voice》指出，AI稠密化趋向笃定，但行业创新速度是一大应战。回溯到15年前特斯拉在谈电动车时，很多传统车厂都以为是个笑话，但往常车厂谈的都是该如何加快规划转型，以完成交通范畴百年的大推翻。关于稠密化技术，墨芯也所正在加速，引领这个行业持续行进。