1. Зачем переплачивать? Ответ: по замыслу и обещаниям разработчиков все общение с ИИ должно бать локальным и не уходить в сеть. Так или не так - не знаю, т.к. пока такого компа не имею.

2. Доверять ли этим обещаниям? - тоже не знаю, нет опыта.

3. Железо. Согласно инфе здесь мощности железа пока не достаточно, чтобы соревноваться с запросами в сети (GPT и пр.)

4. Кто то купил уже это счастье и пользуется?

Доверять ли этим обещаниям? - тоже не знаю, нет опыта.

Чтобы приблизиться хотя бы к уровню GPT 3,5 для подобной модели домашнего пользования нужны будут десятки террабайт на жестком диске (скажем так минимум 50 TB), сотни гигабайт оперативной памяти (например 512 GB), серверный процессор с 64 ядрами, и штуки 4 NVIDIA A 100

По заявлениям разработчиков они ставят другие цели для локальных ИИ: помощь при работе на компе, решения конкретных локальных задач (написание кода, обработка и запоминание скриншотов и пр.), тут речь не о глобальных знаниях, как у GPT моделей. Для локальных задач не требуется такой мощный хард. С другой стороны они "урезают" GPT модели так, чтобы запихнуть их в стандартную коробку (лэптоп, или десктоп), им же надо их как то продавать .