揭秘XPU架构下AIGC的推理加速艺术--AI PC 新纪元:将 AI 引入 NPU,实现快速低功耗推理...

[复制链接]
发表于 2026-4-24 09:07:16 | 显示全部楼层 |阅读模式
踏入AIPC新纪元 ,我们似乎穿越到了一个充满邪术的新天下 ,天生式AI和大模子如同今世法师 ,而AIPC和边沿盘算则成为他们发挥邪术的法杖,从AI谈天呆板人到智能绘画工具, 再到数字化假造人物 ,邪术杖们不但推动了新型处置惩罚器和盘算架构的研发 ,也促进了AIPC产物的诞生和人机交互方式的革命性厘革。
克日 ,在OpenVINO™ DevCon中国系列工作坊2024第二期活动中,中国惠普创新中央斲丧类电脑奇迹部的资深产物司理王若羽和英特尔AI框架OpenVINO™ 工 程师主管赵桢就惠普AIPC联合英特尔OpenVINO™ 是怎样打造出一种全新的 、亘古未有的AI体验举行了专题探究 ,并演示惠普全新开辟的本地电脑助手“AI 小惠 ”怎样融入一样平常生存 ,带来更便捷、更智能的体验。
别的,来自英特尔的武卓博士与杨亦诚老师详细先容了OpenVINO™ 基于 NPU 的 AIGC 加速方案。


All in AI, 开启AIPC新纪元

专家们以为 ,AIPC的推出标记着个人盘算范畴的巨大进步 ,其集成了先辈的AI算力 ,不但在硬件性能上逾越了传统PC ,还在软件服务层面显现出良好的综合气力。
24小时智能搭档  告别繁复的操纵,AIPC内置的超智助手仿佛你身边无形的创意推手。无论是在晨光中轻启工作日程,还是深夜灵感迸发的瞬间,它总能立刻相应,让每一个想法无缝转化为现实。这不但仅是电脑,这是你的私家服从助手,为你的每一步创新加速。
革命性AI效能  酷睿Ultra集成NPU,专为AI推理优化,为创意装上翅膀,视频编辑流通如丝,3D建模如闪电,即便是复杂的AI创作使命也游刃有余。以往必要数小时的工作,如今只需半晌,创意不再受限于期待,灵感的火花瞬间点燃现实。
500+优化模子  高出500个AI模子针对酷睿Ultra处置惩罚器举行优化,经心调校,无论是图像天生、语音辨认还是高级数据分析,都能在指尖轻松实现。共同OpenVINO™技能,让你的创意项目摆设更快、运行更稳,让每个人都能成为AI期间的弄潮儿。
高效与绿色偕行  在寻求极致性能的同时,AIPC同样注意环保与能效。Ultra系列处置惩罚器的智能功耗管理,确保每一瓦电力都用在刀刃上,即便面临高强度使命寻衅,也能保持岑寂与高效,让智能生存更加绿色可一连。

AI PC的XPU算力架构

英特尔®酷睿™Ultra处置惩罚器显现了一幅将来盘算的宏伟蓝图。其XPU计划奥妙融合CPU、GPU与首度集成的NPU,形成一个高度协同的同一盘算平台,尤其NPU的加入,标记着AI处置惩罚本事的显着飞跃。
同时,在Intel 4先辈制程工艺加持下,CPU模块不但搭载了专为高性能计划的性能核,还融入能效核与超低功耗核,确保多使命处置惩罚与能耗间的完善平衡。而集成的GPU,依附与Arc高端独显雷同的锐炫架构,为用户带来桌面级的图形体验,无论是专业计划还是沉醉式娱乐,皆游刃有余。

惠普AI小惠,您身边的电脑专家

惠普与英特尔互助推出的本地服务大模子——AI小惠1.0。AI小惠基于十年服务数据,支持离线操纵,保障工作服从与数据安全,能提供标题答案并给出发起。用户可通过AI保举的卡片,一键访问相干设置,简化操纵,镌汰手动导航,并通过现场演示,展示了AI小惠在视频集会或体系设置以及网络标题等场景时遇到标题时,怎样像到处可在的电脑专家一样平常快速并详细地提供办理步调,镌汰恼火的“抓瞎”时间。

AI小惠:让沟通不再静静静


时空错位?AI小惠来救!
在出差的高空或异国,电脑时钟常闹“时差”,缘故原由多是没联网。“AI小惠”,这个神奇的本地好汉,纵然在没有网络的环境下也能快速找到办理时间不对的标题。只需轻轻一点,体系时间可瞬间同步,再也不消担心时区差别带来的烦恼啦!AI小惠的初心,就是让用户在任何场景下都能轻松应对各种需求。毕竟,无论那里,正确时间都超等紧张!


电脑小白的救星:AI小惠
网络标题,电脑小白的噩梦?AI小惠,这个7x24小时在线的电脑专家,帮你轻松应对各种网络困扰。只需用最天然的语言提问,无论是排查网络故障、提供IP所在还是手机热门毗连,AI小惠都能帮你办理,让你再也不消担心网络标题的尴尬了!

现在,搭载最新一代酷睿处置惩罚器的惠普AIPC,星book pro浮滑本系列已全面上市发售。

探索OpenVINO™的AI邪术

OpenVINO™正以其独特魅力,引领天生式AI迈向更广阔的本地应用舞台。让我们一同见证,它是怎样成为开辟者手中的“魔杖”,轻松驾御从语言到视觉,以致声音的创意风暴。

  • OpenVINO™支持各种主流AI模子
    语言模子:Llama3, Mistral, Phi3等;
    本地中文大模子:ChatGLM3, Qwen1.5, Baichuan等


  • 多模态使命支持
    文生图:Stable Diffusion, LCM;
    视频天生:SVD/DiT;
    语音处置惩罚:多种基于Transformer和GAN的模子。


  • 多种模子融合与优化计谋
    支持模子组合与定制流水线,RAG技能与LangChain的深度融合,以及API驱动的自界说嵌入,提供了强盛又机动的应用网络。加之PTQ、QAT、权重压缩等量化与压缩技能,确保了高性能与低耽误的完善平衡,让复杂模子流通运行。


  • 门槛低落,创意升空
    OpenVINO™对Hugging Face框架模子的拥抱,以及其提供的机动pipeline构建方式,让大语言模子的摆设不再高不可攀。无论是新手还是宿将,都能在这个平台上快速动身,让创新的想法敏捷落地。

OpenVINO™基于NPU的AIGC加速方案

工欲善其事,必先利其器。武卓博士详细先容了天生式AI,与传统人工智能差别的是,天生式AI可天生文本、代码、音乐等独特内容,模子尺寸也从数千到数亿个参数实现了从个位数的数十亿到数万亿个参数,并完成了用户与模子的交互,继续更高的耽误。
在AIPC上举行AI摆设,可以将数据很好地掩护在本地,拥有数据隐私,也可以有用地控制资本。

CPU、GPU、NPU协同工作,实现最佳的AI盘算性能和能效比

  • NPU  专注于电源服从,实用于一连的AI工作负载和AI卸载,延伸电池寿命。
  • CPU   相应快速,是低耽误AI工作负载的抱负选择。
  • GPU   高吞吐,非常恰当AI加速的数字内容创作和游戏。

OpenVINO™ 2024.1最新的量化工具
随后英特尔AI软件工程师杨亦诚分享了在AIPC上运行OpenVINO™的实例Demo,并先容了OpenVINO 2024.1最新的量化工具Hybrid Post-Training Quantization(混淆后练习量化),它联合了静态量化和动态(或称为自顺应)量化的方法,平衡了量化带来的盘算服从提升与模子精度丧失,实用于天生式AI和大语言模子等复杂模子。
提升不但仅体如今电脑性能上,功耗上也能给予惊喜。基于NPU的AI推理,极大提升了盘算资源使用率,更提升了条记本电脑在离线场景下的用电需求。将天生式AI模子摆设在差别的XPU上,在得到高性能的同时,可以到达异构资源平衡,以及最好的能耗平衡,让用户省电也有道。
更丰富的AIGC示例
别的,除了经典的目标检测、人体姿态检测、动作辨认等经典的传统AI示例外,OpenVINO™ Notebook堆栈中也添加了很多天生式AI示例,满足同砚们的多条理需求,各人可以通过模子关键词大概使命关键词在导航界面去检索自己使命所对应的Notebook示例,或通过标签的方式,举行过滤,选择相应的Notebook示例。
心动的的同砚们

快探索起来吧!




  1. 你也许想了解(点击蓝字查看)⬇️➡️ 隆重介绍 OpenVINO™ 2024.0: 为开发者提供更强性能和扩展支持➡️ 隆重推出 OpenVINO 2023.3 ™ 最新长期支持版本➡️ OpenVINO™ 2023.2 发布:让生成式 AI 在实际场景中更易用➡️ 开发者实战 | 介绍OpenVINO™ 2023.1:在边缘端赋能生成式AI➡️ 基于 ChatGLM2 和 OpenVINO™ 打造中文聊天助手➡️ 基于 Llama2 和 OpenVINO™ 打造聊天机器人➡️ OpenVINO™ DevCon 2023重磅回归!英特尔以创新产品激发开发者无限潜能➡️ 5周年更新 | OpenVINO™  2023.0,让AI部署和加速更容易➡️ OpenVINO™5周年重头戏!2023.0版本持续升级AI部署和加速性能➡️ 开发者实战系列资源包来啦!➡️ 以AI作画,祝她节日快乐;简单三步,OpenVINO™ 助你轻松体验AIGC
复制代码
  1. 扫描下方二维码立即体验 
  2. OpenVINO™ 工具套件 2024.1
复制代码
点击 阅读原文 获取工具套件,批评区已开放,欢迎各人留言批评!

文章这么精彩,你有没有“在看”?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表