做浏览器内 AI 工具的笔记
把开源模型搬到 WebGPU 和 WebAssembly 上时,我们测了什么、踩了哪些坑、怎么解决的。每个数字都来自我们自己的测试。
在浏览器里抠图:4 个开源模型在 WebGPU 与 WebAssembly 上的实测对比
BiRefNet-lite、ISNet、BEN2、MODNet 跑同一组照片:WebGPU 与 CPU 上的速度、下载体积、许可证,以及各自在哪里失手。
不报错,但输出是废的:把 ONNX 模型搬上 WebGPU 时遇到的静默故障
384×384 就整张变黑、带 block_size 的 DequantizeLinear 从第一个卷积就算错、int8 的实体识别标签互串——现象、怎么二分定位,以及我们现在固定做的检查。
把 UVR 的 MDX-Net 人声分离搬进浏览器:模型好搬,STFT 难写
ONNX 里没有 STFT:用 JavaScript 写 7680 点混合基 FFT,与 torch.stft 对齐到 −132 dB;以及为什么 GPU 一快,前后处理就占了 43% 的时间。