Для команд, работающих с моделями
Запустите инференс на Apple Silicon и следите за его ходом
Разместите квантованные веса модели на удалённом диске и запустите эксперимент с небольшой или средней моделью через MLX либо llama.cpp. Запускайте скрипты по SSH, а вывод терминала, Мониторинг системы и файлы результатов просматривайте на удалённом рабочем столе. При необходимости можно поделиться графическим сеансом.
Оценивайте нагрузку на память по размеру весов, длине контекста и числу параллельных запросов, а не только по названию модели. XV Studio M4 оснащён чипом M4, унифицированной памятью 24 ГБ и SSD на 512 ГБ. Если для эксперимента нужны несколько наборов весов или большой датасет, при оформлении заказа можно добавить SSD на +1 ТБ. Дополнительное хранилище не увеличивает объём унифицированной памяти.
Сначала проверьте на небольшом наборе данных загрузку модели, появление первого токена и потребление ресурсов при непрерывном инференсе — затем решайте, продлевать ли аренду. Возможность полностью загрузить модель в память зависит от формата квантования и параметров запуска.