華為人工智能模型量化相關專利公布 可減少AI模型占用的內存觀點

                  觀察君 2025-02-07 12:31
                  分享到:
                  導讀

                  天眼查App顯示,近日,華為技術有限公司申請的“人工智能模型的量化方法、處理系統和量化單元”專利公布。

                  天眼查App顯示,近日,華為技術有限公司申請的“人工智能模型的量化方法、處理系統和量化單元”專利公布。

                  摘要顯示,量化單元可以基于運行AI模型的計算設備的各個計算單元的處理粒度,將量化矩陣分割成多個適用于各個計算單元的處理粒度的分塊量化矩陣。量化單元可以對分塊量化矩陣進行量化處理,以得到量化后的分塊量化矩陣,并存儲在存儲器中,可以減少AI模型占用的內存。量化矩陣可以是權重矩陣,也可以是激活矩陣。量化單元量化過程中,是基于運行AI模型的計算設備的各個計算單元的處理粒度進行量化,并不需要基于張量級別進行離群值的統計,實現AI模型對權重矩陣和激活矩陣都可以進行實時量化。


                  華為 人工智能模型
                  分享到:

                  1.TMT觀察網遵循行業規范,任何轉載的稿件都會明確標注作者和來源;
                  2.TMT觀察網的原創文章,請轉載時務必注明文章作者和"來源:TMT觀察網",不尊重原創的行為TMT觀察網或將追究責任;
                  3.作者投稿可能會經TMT觀察網編輯修改或補充。