strata это вообще не про это, это движок для запуска конкретной модели это не лаунчер оптимизатор ползунков
А за счёт чего по твоему оптимизация происходит ???
Страта, в первую очередь, создана что бы в 100% случаев запускать 500 гиговую нейронку на любом ведре с 8гб видюхой и 16гб ОЗУ. Это как засунуть ведро воды в обычный стакан.
Вроде бы налил воды, но вот куда делась остальная - загадка.
Я запускал эту шляпу, оно шакалит квантование до Q1, KV кэш до Q4 и контект до 4к. Но зато б**ть Qwen3.8 NEXT.
Да, это гавно запустится, только смысл и польза от такого ?
Так же не мало важно, какая у тебя видюха. Если 40-50 то будет у тебя 50+ токенов/с а если 20-30 то это уже вилы. Не больше 30. А если (Упаси Господи) 10 серия или ещё чё по хуже, то вообще забудь про скорость. 1-10 т/с ну если Зеончик на 24+ потока, может и 13-15 увидишь.
И что оно тебе там накодило, увидят только твои дети или внуки.
Куда выгоднее выглядит Calibri. Совершенно новая технология "мёртвые души". Где у тебя 80% весов лежит на харде, мёртвым грузом. А для задачи подгружаются только нужные в озу, а самые актуальные в VRAM.
Куда выгодней выглядеть смотря за трендами, а не вспоминать пожилой Калибри, например.
А то так можно скатиться и до дедушки который до сих пор из ИИ чатиков всё копирует руками.
Докладываю новости с нашего передового корабля.
На сегодняшний день по мимо Страты, с которой всё и пошло, уже есть несколько разных движков на её основе. Например Прожект Майа:
И Базальт:
Майа запускает Диипсики и ГЛМы, Базальт ещё более ускоренный вариант Страты под Qwen 3.8 Flash Next.
С самой Стратой всё хорошо, пилят убоги аналоговнет УнслотЛМ Студий, с агентами и прочим блэкджеком для кто ещё не дедушка с чатиком, но уже пожилой со Студиями.
Но, слава богу, запускать агенты с подключенным Страта-сервером это всё не мешает.
Работает быстро, на одной видячке 5060ti при наличии 128 гигов, не самой передовой оперативы вполне ворочается например версия Квена 3.8 Флеш Некст на кванте Q6 в +-50 токенов печати и около 1000 префила, что надо заметить не хухры мухры для локалки.
По железу, всё приличное начинается с 3060 карт на 12 гигов, коих можно использовать не по одной штуке в ящике, разумеется. И разных Тесла V100 с 16-32 гигами. Ящики с Зионов v3-v4 и Эпиков Зен 2 - Зен 3 с памятью ДДР3, ДДР4.
Вполне норм так карты типа 2080ti Супер с 22 гигами или 3090, стоят пока не сверх больных денег как 5090 или 4090 версия на 48 гигов.
Квен начиная с Q4_K_XL или NVFP4 весов, вполне себе кодит и реверсит.
У меня тут коллеги уже успешно этим всем занимаются, например с Питоном и JS Квен 3.8 справляется очень хорошо, ещё как оказалось, очень неплохо рисует SVG графику, бул тут проектец по рисованию щитов по пожарной безопасности, вот он это всё нарисовал отлично.
Древние программы времен Дос и Виндовс 98-ХР под какие-то экзотические системы, реверсит с REA+Ghidra прямо выколупывает всё что надо, например очень были нужны разные ключи запуска в консоли для древних утилит управляющих всякитми штуками и документации вообще не было никакой, всё выковырял, даже можно это древнее говно теперь переписать.
Ещё тут ковырнули и переделали прошивку для китайского видеорегистратора, чтобы в неё враги не лезли.
Ну и был тут прикол с PHP поломанным хакерами в конце октябры. Есть древние всякие сервера где на древних Линухаха до сих пор что-то работает и это никто не обновлял, вот там это всё удалось заадминить чтобы оно заделало дыры в старых версиях PHP пересобрав исходники внеся то что пофиксили в свежих.
В общем эта штука, в плане локальных моделей, на данный момент, революционная, с далеко идущими последствиями.
Последний раз редактировалось DungeonKeeper; 14.11.2026 в 20:21.
lolz i dont remember i ever said pidaras in normal chat