字体
关灯
返回目录 阅读足迹 更多章节
第(3/4)页

    钟景航笑吟吟握住王霁的手:
    “小王,你帮了我大忙!”
    “之前说有重谢,这就别推辞……”
    朝属下员工使了个眼色,让他们出去,自己要说其他事。
    莫远游几人正要走,王霁忽然扬起左手:“先等等,我还有个提测。”
    啊——
    会议室的人都惊呆了。
    莫远游问:“还有提测是什么意思?那几个点是分批提的么?可是,刚才我们测试验证都没问题了啊……”
    钟景航也一脸诧异,猜不出王霁的话是什么意思。
    王霁笑吟吟道:“不是那几个点,那个问题我昨天就搞定了……”
    将电脑屏幕转了过去:
    “我看代码的时候,还发现个问题……”
    “你们处理大模型高稀疏矩阵效率很低,无效占比计算超过65。”
    “而且,用的加速方案需要固定稀疏模式,无法适配动态稀疏。”
    “如果稀疏矩阵的非零元素位置随机,你们cache命中率下降了50多。”
    “多核并发计算时,稀疏任务分配不均,闲的闲死,忙的忙死。”
    “我就顺手解决了……”
    他对着电脑滔滔不绝。
    丝毫没留意到,几个人表情越来越诡异。
    听着听着,已经没在看电脑,而是将目光都锁到他脸上。
    王霁继续说方法:
    “我的优化策略是……”
    “首先,增加稀疏模式检测单元,实时识别矩阵中的非零块。”
    “用硬件实现自动掩码,根据当前稀疏模式来生成,跳过全零块。”
    “然后,在noc上集成优先级仲裁器,将稀疏计算任务拆分为细粒度子任务,高稀疏度任务优先分配至空闲核。”
    “最后,利用你们芯片已有的稀疏、密集模式,增加动态阈值判断。”
    “整体下来,transformer推理服务模拟测试延迟能降低50以上。”
    “因为减少了稀疏计算的能耗,边缘侧芯片推理功耗降低40以上……”
    这个问题,是其余红点的报错。
    今天花大半天搞定的。
    反正,闲着也闲着…
第(3/4)页
本章还未完,请点击下一页继续阅读
上一页 目录 下一页
都在看:最强废材崛起马甲被扒后,前夫总裁悔不当初我的极品尤物姐姐我在地窟无限复活万古第一神穿成异界,狼王的他为我神魂颠倒俘获极品女神,享受肆意人生爹爹开门,系窝呀!被全网黑后,我靠种地爆红全网叔他宠妻上瘾