Инференс не обновляет веса, но ему нужна память под сами веса, KV-кэш контекста и одновременных пользователей. Здесь важнее латентность и пропускная способность, а пиковые FLOPS сами по себе ничего не гарантируют. Часто выгоднее взять несколько карт среднего класса с квантизацией, чем одну флагманскую. Для инференса той же модели памяти нужно меньше, чем для дообучения, а время работы измеряется секундами, а не часами.
Экономика инференса за последние годы сильно изменилась. Стоимость инференса для системы уровня GPT-3.5 упала более чем в 280 раз с ноября 2022 по октябрь 2024 года
по данным Stanford HAI, а вот оборудование, напротив, подорожало.И это существенно меняет калькуляцию: для многих продуктов будет дешевле платить за API, чем строить свою инфраструктуру.
Общее правило выбора вытекает из задачи. Сначала считают, сколько нужно памяти, времени и одновременных пользователей, потом подбирают оборудование.
После того, как оборудование выбрано, следующий шаг — выбрать вариант размещения этих мощностей.