|
面向端側(cè)大語言模型應(yīng)用，加速邊緣AI生態(tài)發(fā)展 芯原股份（芯原，股票代碼：688521.SH）近日宣布與谷歌聯(lián)合推出面向始終在線、超低能耗端側(cè)大語言模型應(yīng)用的Coral NPU IP。該IP基于谷歌在開放機(jī)器學(xué)習(xí)編譯器方面的基礎(chǔ)研究成果，并結(jié)合AI的安全特性進(jìn)行了強(qiáng)化，為開發(fā)者提供統(tǒng)一的開源技術(shù)平臺(tái)，以構(gòu)建強(qiáng)大的邊緣AI生態(tài)系統(tǒng)。 
Coral NPU基于RISC-V開放指令集架構(gòu)標(biāo)準(zhǔn)構(gòu)建，引入原生張量處理能力，支持主流機(jī)器學(xué)習(xí)框架，如JAX、PyTorch和TensorFlow Lite（TFLite），并采用基于開放標(biāo)準(zhǔn)的工具，例如來自低級(jí)虛擬機(jī)（LLVM）項(xiàng)目的多級(jí)中間表示（MLIR），作為編譯器基礎(chǔ)設(shè)施。其設(shè)計(jì)面向始終在線、超低能耗的邊緣AI應(yīng)用，尤其適用于可穿戴設(shè)備和泛在感知系統(tǒng)。 Coral NPU IP已在谷歌開發(fā)者網(wǎng)站開源，面向全球開發(fā)者開放。芯原將提供商業(yè)化的企業(yè)級(jí)IP版本，并結(jié)合自身豐富的IP儲(chǔ)備以及芯片設(shè)計(jì)與驗(yàn)證能力，為客戶的相關(guān)芯片提供一站式芯片定制等服務(wù)。目前，芯原正在開發(fā)基于Coral NPU IP的驗(yàn)證芯片，面向AI/AR眼鏡與智能家居等應(yīng)用，以加速大語言模型在邊緣端的部署。 芯原執(zhí)行副總裁，定制芯片平臺(tái)事業(yè)部總經(jīng)理汪志偉表示：“此次項(xiàng)目基于我們?cè)贠pen Se Cura開源項(xiàng)目上的既有經(jīng)驗(yàn)，也標(biāo)志著谷歌開源技術(shù)與芯原在芯片設(shè)計(jì)和產(chǎn)業(yè)化支持上的持續(xù)深度合作。芯原將繼續(xù)發(fā)揮在芯片設(shè)計(jì)、驗(yàn)證及系統(tǒng)級(jí)優(yōu)化方面的優(yōu)勢(shì)，推動(dòng)邊緣AI生態(tài)建設(shè)，助力開源技術(shù)在實(shí)際終端產(chǎn)品中的落地應(yīng)用，并為行業(yè)創(chuàng)新提供有力支持。” |
