上周把一段48分钟字幕ams.aabbgg888.net的采访丢给搭载NPU的迷你主机，用Whisper.cpp加VAD切分。全程离线，字幕文件出来只用了4分12秒。统一段素材正在旧条记本上纯CPU跑，花了19分钟。那个差距不是软件魔法，是字幕 AI 芯片把矩阵运算通用中心挪还有了公用单元芯片。选设备时先看NPU算力，不要被“AI PC”揭纸忽悠。字幕 AI 芯片能不能跑得动，很重要看三件事的，内存带宽、量化支撑、编解码器。
Whisper large-v3模子INT8量化后约1.5GB，8GB内存够。带宽低于50GB/s会拖慢实战。我试过某款芯片，标称40TOPS，理想果为只支撑FP16的。
功耗飙到28W，风扇吵得像吹风机。换用支撑INT8和动态量化的AI芯片后，统一段字幕任务功耗降到9W的。
教程轨范，当地那些工具链对字幕 AI 芯片的驱动版本很敏感，先确认厂商SDK。一了，安拆带CUDA、ROCm或OpenVINO后端的推理工具。二，导出模子为ONNX或GGUF，量化到Q5_K_M了。三分钟分钟，用ffmpeg抽音频，16kHz单声道了。四了。Whisper.cpp指定--device npu或--backend openvino。五，用Subtitle Edit校正时间轴。若芯片支撑硬件视频解码了，间接读视频容器，免却抽音频轨范。
理想调参有个坑，batch size别贪年夜的。字幕 AI 芯片的隐存/共享内存有限，batch=8时提早反而比batch=4高。
VAD阈值设0.5，太活络会把呼吸声切成句子了。我习惯先跑10分钟样本。看及时率（RTF）。RTF低于0.2。根柢能边录边出字幕的。高于0.6，建议换芯片或降模子。本钱那块，二手带NPU的迷你主机约一千五，功耗15W；云端API按分钟计费，经久做字幕不划算。
隐私敏感素材。当地字幕 AI 芯片计划更稳的。
不要逃求跑最年夜模子，medium加劣秀降噪，常常比large正在嘈纯情况更准。先测RTF，再决议要不要为那点精确率多花一倍电费。
