Сначала такой

после загрузки шардов.

Квантование Q4_K_M - это 4.9-битное квантование, типичное хорошее квантование

интересно было бы посмотреть, как будет работать суммаризация (конспекты) с длинной контекста 32k или 64k.

чтобы дотюнить ее на свой домен, и не потерять в ризонинге, то как лучше:
тюнить в bf16 весах, а потом квантизовать для инференса; или сразу квантизованную тюнить?

Вчера запустил модель
prompt: Расскажи про закон Архимеда и приведи один пример

Всё понятно, мамкины владельцы игровых видеокарт продолжают играть хоть и немного в другие игры, но по сути тот же детский сад.

В комментах полно каких-то странных новорегов с несколькими сообщениями, или спящих и проснувшихся недавно аккаунтов, молчавших многими годами. И все они сыпят этими терминами как прорвавшийся брандспойт. А сообщения вида

"что бы сделать template шаблон"

"квантизировать"

"квантизовать"

выдают в них результат работы таких недообученных моделей. Ну или набег выпускников курсов "ИИ за 2 месяца".