Никогда не надо было да и лишние вентиляторы не хотелось иметь.

Но вот попробовал пару LLM моделей - не тянет комп.

Для начала хотелось бы знать действительно ли стоит ожидать резкое увеличение скорости вычислений для LLM и бюджетного варианта? (нужно хотя бы на порядок быстрее)

Hopper точно не потяну , а вот 80я Tesla вполне подойдёт.

Что скажете?

Где вы скачали модель? Сколько терабайтов и сколько заплатили, что-то не верится что такое раздают бесплатно..

Fragen und Antworten - Программируем калькулятор пособий для беженцев вместе.

на hugging face их сколько угодно /бесплатно/, начиная от 400 мб. https://huggingface.co/models

Но меньше Гб не имеет смысла - слишком тупые

На обычном компе особого смысла пробовать нет - будет медленно. Уже попробовал.

Дорогую видеокарту тоже не хочется, вентиляторы достанут да и дороговато для поиграться. Тем более, не зная результат.

Увеличение скорости по сравнению с CPU? Да будет - раз в 30 минимум.

Но проблема со старыми картами - это поддержка. Есть такой параметр Compute Capability - https://developer.nvidia.com/cuda-gpus.

И многие библиотеки не поддерживают compute capability <= 3.5 Судя по темпам развития то через год и 3.7 поддерживаться не будет.

Так что если есть конкретный проект который будет работать на K80 - то можно брать. Точно будет быстрее.

Еще можно попробовать брать в аренду например на Google Colab - там дают какое-то количество бесплатно. Да и huggingface тоже дает карты в аренду.

Спасибо за коммент, поискал еще, да идея глупая была делать что-то своё. Там народ по 4 платы с вентиляторами собирает и плачет что мало.

Цены зато нашел приличные на виртуальные платы https://vast.ai/pricing

Да будет - раз в 30 минимум

странно, где-то встречал раз в 10 ускорение и то сомнение было. Ну да ладно, всё равно не светит. Даже если забыть про цены лишний шум не нужен.