Аппаратные ограничения, с которыми сталкиваются все? ОЗУ.

Давайте разберем характеристики для различных размеров моделей. Запуск модели с 7B до 13B параметров обычно требует 16 до 32 ГБ ОЗУ. Для моделей с 20B параметров потребуется примерно 48 до 64 ГБ. Для тяжелых моделей, таких как 120B, подготовьтесь к 120 ГБ и более.

Вот в чем дело — мы вложили $15k в аппаратное обеспечение, и теперь можем развернуть практически любую модель. Вот настоящая возможность. Обнадеживающий факт? Эти затраты должны снизиться по мере развития рынка и повышения доступности аппаратного обеспечения. Все больше людей смогут запускать серьезные модели локально, не разоряясь.