英特尔已将其 NPU 加速库(intel-npu-acceleration-library)开源,作为 Windows 和 Linux 系统的用户空间库,用于与其新款 Meteor Lake 笔记本电脑上的神经处理单元(NPU)接口。
英特尔长期以来一直在开发 iVPU Linux 内核驱动程序,该驱动程序位于内核上游,用于从 Meteor Lake 开始支持英特尔 NPU(以前称为 VPU)。这个 NPU 加速库是一个方便的 Python 库,可以充分利用 NPU 的潜力。
英特尔神经处理单元库支持 8 位量化、Float16 支持、torch.compile 支持、静态形状推理和其他功能。
NPU 加速库可从 GitHub 下载,也可通过 PIP 方便地安装:
https://github.com/intel/intel-npu-acceleration-library
英特尔 NPU 加速库 GitHub 页面上的 Python 代码示例展示了在 NPU 上进行单矩阵乘法运算、为 NPU 编译模型,甚至在 NPU 上运行 Tiny-Llama 模型。随着人工智能时代的到来以及 NPU 在更多英特尔处理器上的应用,这个库将变得越来越重要。
没有回复内容