P.P.S. Кто нибудь, собирал уже кластер из локальных ИИ ? А то мысль есть, а способа проверить нету.
я не собирал но видосов уже тысячу по этому поводу пересмотрел, все упирается в бутылочное горлышко при обмене данными между железками. то есть взять кучу дишманского гавна и собрать из них дохера памяти не очень хорошая идея, да памяти будет много но все это будет работать очень медленно. вот забавный видос где чел собирал на 4 ноутбучных платах и как оказалось что три платы работают быстрее четырех. с видюхами конечно будет получше все таки скорость PCI кратно выше 2,5G сетевухи. Есть ИИнтузиаст на ютубе, он собирал на 5 видеокартах 3090 майнингИИ-ферму но там и ценник будет соответсвующий.
я не собирал но видосов уже тысячу по этому поводу пересмотрел, все упирается в бутылочное горлышко при обмене данными между железками. то есть взять кучу дишманского гавна и собрать из них дохера памяти не очень хорошая идея, да памяти будет много но все это будет работать очень медленно. вот забавный видос где чел собирал на 4 ноутбучных платах и как оказалось что три платы работают быстрее четырех. с видюхами конечно будет получше все таки скорость PCI кратно выше 2,5G сетевухи. Есть ИИнтузиаст на ютубе, он собирал на 5 видеокартах 3090 майнингИИ-ферму но там и ценник будет соответсвующий.
Ну не совсем это имел в виду.
Собрать кластр - собрать кучу агентов в 1 чате. Например, я возьму этих же 4 ноута с видоса. Объёденю их в 1 чате с бесплытным GPT и заставлю их работать как единая команда. Я об этом
Само собой 5 rtx 3090 собрать на 1й плате ещё и с NVLINK мостиками будет пиз***о. Но 600к отвалить за 120gb VRAM это кащунство.
С таким успехом можно собрать 10x2080ti с 220gb VRAM за эти же деньги или древних V100 на 320gb VRAM. Работать будет чуть медленнее но и влезет по более добра.
Последний раз редактировалось BigBan; 19.10.2026 в 08:39.
Ну не совсем это имел в виду.
Собрать кластр - собрать кучу агентов в 1 чате. Например, я возьму этих же 4 ноута с видоса. Объёденю их в 1 чате с бесплытным GPT и заставлю их работать как единая команда. Я об этом
не со всем понял на каждом ноуте своя нейронка стоит? локальная или облачная? и один ноут всем им команды раздает что делать?
Цитата:
Сообщение от BigBan
С таким успехом можно собрать 10x2080ti с 220gb VRAM за эти же деньги или древних V100 на 320gb VRAM. Работать будет чуть медленнее но и влезет по более добра.
это да согласен. но кто-то говорил что на древних картах тензорные ядра не те и все такое.
Язык: Модель начинает писать на русском языке и закnishes in English language. Это тупо, весело и занятно.
Это какой-то Q1 или Q2 квант модели или KV кеш был выбрать 4 бита.
Цитата:
Сообщение от BigBan
Память: "Как не крутись а жопа сзади". Волшебства не случилось. Под Qwen Next на 256гб весом, всё ещё нужно 256гб какой-нибудь памяти.
Не нужно там 256 гигов оперативы и ты какие-то модели, походу не для Страты смотришь. Там сейчас (0.45 - 0.20 верии) все нужные модели можно выбрать прямо в сетапе при первом запуске, смотри swift версию или модели от Унслота.
Q6 модель Квина 3.8 Некст Флеш ест 120 гигов оперативы и жмёт 50 токенов на 5060ti 16 гигов.
Для тех у кого оперативы меньше 64 гигов, там есть какие-то корчи чтобы использовать NVME SSD для подгрузки экспертов вместо оперативы и Нграм словаря.
Погляди чего пишут на эту тему, или как сейчас делает думающее большинство, попроси агента настроить конфиг Страты скормив ему её доку или питонные файлы от самой Страты из её репы.
Добавлено через 11 минут
Цитата:
Сообщение от BigBan
P.P.S. Кто нибудь, собирал уже кластер из локальных ИИ ? А то мысль есть, а способа проверить нету.
Да, уже насобрано, девопсы наделанные из продвинутых аникеев сидят, херачат у меня тут, на моих 3060-3090 недораспроданных после майцнинга.
Там особо нечего собирать, с Стратой тупо надо оперативка воткнутая в что-то + Видиокарта от 12 гигов памяти, желательно 2000 серии и вышел, либо две или четыре мелкие видюхи по 6-8+ гигов народ напихивает.
Уже и Радионы под это приспособили и даже 1000 серия Нвидей, 20-30 токенов выжимает.
У меня допустим несколько старых Dell-ов и HP серверов под это было отдано с склада, тоже списанное не продали на Юлите, пригодилось.
С оперативой только затык, ДДР4 ECC REG подорожала прямо раз в пять, но DDR3 пока не особо, дорогая, но учитывая тенденцию, есть версия и её скупать начнут.
В общем можно собрать на пожилых Зионах 2011-1 которые V3 и V4 ящик под ДДР3 или если есть бабло под ДДР4 и добавить туда видеокарт, в отличии от обычных компов домашних, в серверных есть много слотов pcie 16x.
Ещё тренд собирать на Эпиках 2-3 поколения Зен, но там ценник на китайские матери и камни уже подвзлетел в отличии от Зионов. Но зато есть pcie весрии 4.0 и 8 канальный контроллер памяти.
Добавлено через 29 минут
Цитата:
Сообщение от Тигрь
2 авг. 2026г.
.
Все видосы, всякие гайды и статьи с Хабаров/Ридитов вышедшие примерно до второй половины сентября этого года, можно смело выкидывать в помойку, вся эта информация не актуальна.
Всё началось с Ninfer который напилили под свеже дропнутый Квен 3.8 27Б, после чего народ чухнул, что зачем ждать пока писатели Лламы-ДЦП родят что-то там под все модели какие есть, работающее на великих скоростях в 5 токенов в хорошую погоду, если можно зпиливать движок под конкретную модель.
Ну и понеслась, вышел Квен 3.8 Некст Флеш и под него сделали Старту, вышел сразу оверхайп. Далее пошли уже делать под всякие GLM 5.3, Дипсики 4.1 Флэш и подобные актуальные MoE модели, свои форки все кому не лень. Неожиданно даже старые вёдра ожили и заработали раз в 10 быстрей чем на Лламах.дцп, ещё буквально в августе.
Такие вот дела, бедные игруны, это по моему хуже чем майнинг. Во времена майнинга всё упиралось чисто в рынок коинов и бабки, сейчас всё уперлось в локальные ИИ и процесс стал самоподдерживающимся.
Последний раз редактировалось DungeonKeeper; 19.10.2026 в 22:14.
Причина: Добавлено сообщение
lolz i dont remember i ever said pidaras in normal chat
Это какой-то Q1 или Q2 квант модели или KV кеш был выбрать 4 бита.
Ну да, там около того и было. Я же написал что у меня 32+22=54гб суммарно памяти. Обычный игровой ПК.
Дело не в том, что у меня 2ТБ видеопамяти и стесняюсь тратить место на SSD. А в том, что нужно ждать оптимизацию железа под ИИ или хотя бы дропа DDR5 128гб хотя бы до 20к рублей или выхода 3-4ГБ чипов GDDR7 и перепаянную RTX 5090 на 64гб за 500$ с алика (а это фантастика). Вот тогда заживём.
Меня больше беспокоит обстановка вокруг этого всего.
Сейчас все пилят моды на игры типа Universal. Смешивают 100 игр в 1й.
Ломанулись всей планетой взламывать и переписывать софт существующий. Восстанавливать код всего до чего дотянутся руки вплоть до первых ЭВМ. Но это восстановление.
Что по новому софту ? Ведь главная проблема ИИ - фантазия. Она не в состоянии создать то, что ни разу не видела (ну или адекватно это сделать).
P.S. Что думаете, в GTA 6 будет нейрослоп или нейрокод ?
Что по новому софту ? Ведь главная проблема ИИ - фантазия. Она не в состоянии создать то, что ни разу не видела (ну или адекватно это сделать).
То что не видела не в состоянии, но когда галюцинирует вполне создаёт что-то из того что есть. Ну почти как человек.
На нейронках рисующих картинки и видео это хорошо заметно.
Цитата:
P.S. Что думаете, в GTA 6 будет нейрослоп или нейрокод ?
Всё что наделано после 2022 года, когда плотно ЧатикГПТ выстрелил по мозгам планеты, так или иначе уже содержит нейрослоп во всём.
В этом ещё и проблема датасетов собранных из интернета до 22 года и после.
lolz i dont remember i ever said pidaras in normal chat
P.S.Я кстати не понимаю, зачем все сидят на LLama и прочем ?
LM Studio делает тоже самое, только половину настроек и оптимизаций делает в режиме auto. А другую половину можно настроить обычным ползунком. А недавно завезли фишку от "Бабы Ванги". Можно распределить количество слоёв модели и контекста с кэшем и сама студия покажет ожидаемое количество занимаемых ресурсов. Вплоть до OfM
Потому что LM studio это электрон с ползунками поверх обычного llama, лишний слой и задержка обновлений ради ползунков
Нет никаких волшебных настроек и оптимизаций, у каждой модели свои параметры для запуска которые тебе пишет разработчик модели
нельзя оптимизировать ультимативно, особенно если ты ставишь фанатские модели, потому что от параметров запуска зависит и поведение модели а не только успешность этого самого запуска
Потому что LM studio это электрон с ползунками поверх обычного llama, лишний слой и задержка обновлений ради ползунков
Нет никаких волшебных настроек и оптимизаций, у каждой модели свои параметры для запуска которые тебе пишет разработчик модели
нельзя оптимизировать ультимативно, особенно если ты ставишь фанатские модели, потому что от параметров запуска зависит и поведение модели а не только успешность этого самого запуска
В LM Studio все консольные команды и консольные настройки выполнены в виде ползунков и переключателей. Это в разы проще и удобнее. Единственный минус, это скорость обновления под новые "сборки" и нет нативной поддержки старых технологий.
ЛМ студия это очень удобный инструмент, что-бы познакомиться с ИИшками.
А поделки типа Strata это "автомод" который вместо тебя проводит тесты и подбирает параметры и цифры ползунков за тебя. Вот и всё. Это как купить себе Nissan GTR 1000 сил, но на автомате.
А поделки типа Strata это "автомод" который вместо тебя проводит тесты и подбирает параметры и цифры ползунков за тебя. Вот и всё. Это как купить себе Nissan GTR 1000 сил, но на автомате.
strata это вообще не про это, это движок для запуска конкретной модели
это не лаунчер оптимизатор ползунков
Последний раз редактировалось Dezzmand; 26.10.2026 в 23:23.