Показать сообщение отдельно
Старый 19.10.2026, 21:44   #14
DungeonKeeper
Старичок форума
Аватар для DungeonKeeper
OFFLINE
Регистрация: 01.08.2008
Возраст: 46
Сообщений: 662
Благодарностей:
1,975 всего
Мнения: + 1884
Репутация: 5926

Цитата:
Сообщение от BigBan Посмотреть сообщение
Язык: Модель начинает писать на русском языке и закnishes in English language. Это тупо, весело и занятно.
Это какой-то Q1 или Q2 квант модели или KV кеш был выбрать 4 бита.

Цитата:
Сообщение от BigBan Посмотреть сообщение
Память: "Как не крутись а жопа сзади". Волшебства не случилось. Под Qwen Next на 256гб весом, всё ещё нужно 256гб какой-нибудь памяти.
Не нужно там 256 гигов оперативы и ты какие-то модели, походу не для Страты смотришь. Там сейчас (0.45 - 0.20 верии) все нужные модели можно выбрать прямо в сетапе при первом запуске, смотри swift версию или модели от Унслота.

Q6 модель Квина 3.8 Некст Флеш ест 120 гигов оперативы и жмёт 50 токенов на 5060ti 16 гигов.

Для тех у кого оперативы меньше 64 гигов, там есть какие-то корчи чтобы использовать NVME SSD для подгрузки экспертов вместо оперативы и Нграм словаря.
Погляди чего пишут на эту тему, или как сейчас делает думающее большинство, попроси агента настроить конфиг Страты скормив ему её доку или питонные файлы от самой Страты из её репы.

Добавлено через 11 минут
Цитата:
Сообщение от BigBan Посмотреть сообщение
P.P.S. Кто нибудь, собирал уже кластер из локальных ИИ ? А то мысль есть, а способа проверить нету.
Да, уже насобрано, девопсы наделанные из продвинутых аникеев сидят, херачат у меня тут, на моих 3060-3090 недораспроданных после майцнинга.

Там особо нечего собирать, с Стратой тупо надо оперативка воткнутая в что-то + Видиокарта от 12 гигов памяти, желательно 2000 серии и вышел, либо две или четыре мелкие видюхи по 6-8+ гигов народ напихивает.
Уже и Радионы под это приспособили и даже 1000 серия Нвидей, 20-30 токенов выжимает.

У меня допустим несколько старых Dell-ов и HP серверов под это было отдано с склада, тоже списанное не продали на Юлите, пригодилось.
С оперативой только затык, ДДР4 ECC REG подорожала прямо раз в пять, но DDR3 пока не особо, дорогая, но учитывая тенденцию, есть версия и её скупать начнут.
В общем можно собрать на пожилых Зионах 2011-1 которые V3 и V4 ящик под ДДР3 или если есть бабло под ДДР4 и добавить туда видеокарт, в отличии от обычных компов домашних, в серверных есть много слотов pcie 16x.
Ещё тренд собирать на Эпиках 2-3 поколения Зен, но там ценник на китайские матери и камни уже подвзлетел в отличии от Зионов. Но зато есть pcie весрии 4.0 и 8 канальный контроллер памяти.

Добавлено через 29 минут
Цитата:
Сообщение от Тигрь Посмотреть сообщение

2 авг. 2026г.
.
Все видосы, всякие гайды и статьи с Хабаров/Ридитов вышедшие примерно до второй половины сентября этого года, можно смело выкидывать в помойку, вся эта информация не актуальна.

Всё началось с Ninfer https://github.com/Neroued/ninfer который напилили под свеже дропнутый Квен 3.8 27Б, после чего народ чухнул, что зачем ждать пока писатели Лламы-ДЦП родят что-то там под все модели какие есть, работающее на великих скоростях в 5 токенов в хорошую погоду, если можно зпиливать движок под конкретную модель.
Ну и понеслась, вышел Квен 3.8 Некст Флеш и под него сделали Старту, вышел сразу оверхайп. Далее пошли уже делать под всякие GLM 5.3, Дипсики 4.1 Флэш и подобные актуальные MoE модели, свои форки все кому не лень. Неожиданно даже старые вёдра ожили и заработали раз в 10 быстрей чем на Лламах.дцп, ещё буквально в августе.

Такие вот дела, бедные игруны, это по моему хуже чем майнинг. Во времена майнинга всё упиралось чисто в рынок коинов и бабки, сейчас всё уперлось в локальные ИИ и процесс стал самоподдерживающимся.

Последний раз редактировалось DungeonKeeper; 19.10.2026 в 22:14. Причина: Добавлено сообщение

lolz i dont remember i ever said pidaras in normal chat
 
Ответить с цитированием
Сказали спасибо:
Тигрь (20.10.2026)