Optimum

Optimum — это библиотека оптимизации, поддерживающая квантование для Intel, Furiosa, ONNX Runtime, GPTQ, а также низкоуровневые функции квантования PyTorch. Она разработана для повышения производительности на конкретном оборудовании — CPU/HPU от Intel, GPU от AMD, NPU от Furiosa и т. д. — и ускорителях моделей, таких как ONNX Runtime.

Update on GitHub