IBM обновила стек Spyre для PyTorch, vLLM и распределённого инференса
Материал подготовлен с использованием ИИ. Сведения и выводы следует проверять по указанным первоисточникам.
Источник: research.ibm.com
IBM Research описала обновления программного стека Spyre: компиляцию PyTorch-кода, подключение к vLLM и работу с распределённым инференсом через llm-d.
Модуль torch-spyre компилирует обычный PyTorch-код в план выполнения для ускорителя Spyre. В компиляторной части IBM использует PyTorch Inductor — общий компонент экосистемы PyTorch, который преобразует вычисления модели для выбранного оборудования.
Spyre предназначен для инференса — выполнения уже обученных моделей. IBM рассматривает его в составе систем IBM Z, LinuxONE и Power. Описанные изменения относятся к программной интеграции ускорителя.
Отдельная часть работы связана с vLLM, программой для запуска языковых моделей. По данным IBM, аппаратно-независимый путь vLLM проверили с плагином Spyre на Gemma 4, Qwen3 и Granite 4.2. Такой подход отделяет общую реализацию модели от поддержки конкретного ускорителя.
Совместимость зависит от операций, используемых моделью. Для операций, которые стек пока не умеет эффективно компилировать, могут потребоваться адаптеры с математически эквивалентным представлением вычислений.
Для распределённого инференса в описанной связке используется llm-d поверх vLLM. Spyre подключается через аппаратный модуль PyTorch и плагин vLLM; совместную работу компонентов проверяют сквозными автоматическими тестами.
Обсуждение
Перейдите к комментариям, чтобы задать вопрос или добавить полезное уточнение.