itch.io

Кажется, удалось найти вариант, который можно запускать оффлайн: flatsiedatsie/transformers_js_musicgen (github.com)

UPDATE: Увы, тоже не работает... 

На ХФ опубликовали ИИ генератор музыки, сделанный на ЯваСкрипте:

MusicGen Web - a Hugging Face Space by Xenova

Код: https://github.com/xenova/transformers.js/tree/v3/examples/musicgen-web

Как его запустить на локальном пк/ноутбуке? Я скачал исходники с гитхаба и исходники с ХФ. Пробовал запускать оба варианта (открывал index.html в браузере), но в обоих случаях в браузере отображалась пустая страница.

Там разработчик ещё саму модель подгрузил на ХФ и дал образец кода для запуска, но это не питон и не ванильный ЯваСкрипт, как его инкапсулировать в хтмл непонятно:

Xenova/musicgen-small · Hugging Face

Появилась ещё одна конкурентка Кобольд.срр (помимо Мейд, которая уже есть в Вашей коллекции). Называется Ева. Сделана на С++, маленькая, быстрая. Кроме общения с ИИ Ева  также умеет рисовать картинки по запросу (на основе стейбл-диффьюжн.срр) и преобразовывать речь в текст (использует встроенный уиспер.срр) Ещё в Еве вроде как есть синтез речи (но как его использовать пока не разобрался). Версии для цпу и гпу: 

https://github.com/ylsdamxssjxxdd/eva/releases/download/b2636/eva-b2636-64bit.ex..., https://github.com/ylsdamxssjxxdd/eva/releases/download/b2636/eva-b2636-cuda.exe

Please, compile a downloadable version for PC.

Please, compile a downloadable version for PC.

Please, compile a downloadable version for PC.

Please, compile a downloadable version for PC.

Please, compile a downloadable version for PC.

Please, compile a downloadable version for PC.

Please, compile a downloadable version for PC.

Потестил на низкой "видеопамяти". Встройка берёт себе память из ОЗУ. Итог: браузерное веб-уи + ядро питона + делибирэйт + лора + ос = 11,4-12 гб озу, т.е пробовать среднюю загрузку "видеопамяти", наверное, можно и не пытаться, так как она будет близка к  15,4 гб (максимально доступная память для 16 гигов физической памяти на двух плашках). Во время теста возник вопрос: какой вес должен быть у лоры, ну тот, который в промте в угловых скобках цифрой после двоеточия указывается? Картинка рисуется за тридцать секунд, но цвета фона едкие, кислотные, вырвиглазные, сам фон замылен, морда кота периодически бывает искорёжена.

Скрин настроек модели:

Скрин настроек проги:

У меня встройка АМД Вега 7 на бюджетном ноутбучном проце Райзен 7 4700у, выпущенном 4 года тому назад. Важно использовать модель СД-Турбо, она рисует картинку 512х512 менее чем за 10 секунд. Неуверен, что смогу запустить что-либо в сд-веб-уи, так как браузерные гуи и памяти отъедают ого-го, и работают медленнее, и модели для них (не онниксовая СД-турбо, а стандартные) больше весят. В моём распоряжении всего-то 16 гб ДДР4. 11-я винда после всех оптимизаций минимум два гига отнимает. Поэтому я всё время нахожусь в поиске нейросетей для слабых пк. Запустил сейчас Амьюз, дал запрос "a cat in a park, sunglasses", и рисунок был готов за 8,87 секунды! Пруф (см. правый нижний угол скриншота): 

Если нужен контрол-нет и быстрый движок, то обе фичи есть в ОнниксСтак, другой проге от автора Амьюза. Он просто делал эти два проекта параллельно. Амьюз - это тот же ОнниксСтак, но с более удобным и понятным интерфейсом. В какой-то момент программист, видимо, не потянул разработку сразу двух утилит, поэтому психанул и потёр Амьюз. Последняя версия ОнниксСтака:  для видео-карт НВИДИА - https://github.com/saddam213/OnnxStack/releases/download/v0.23.0/OnnxStack_UI_v0..., для другого железа - https://github.com/saddam213/OnnxStack/releases/download/v0.23.0/OnnxStack_UI_v0...

Пользуюсь официальной установкой с гитхаба, ставлю галочку "Работать оффлайн" и вроде бы всё нормально пашет. Утилита норм, но Амьюз, о котором я написал выше, работает быстрее и памяти ест на порядок меньше. Единственный плюс фаст_сд_цпу - более низкая температура проца во время генерации.

Была такая программа Amuse, она с помощью комбинации технологий: DirectML и ONNX могла при использовании модели SD Turbo генерить картинки за 9-10 секунд даже на слабой бюджетной встройке АМД. Но потом у кодера случилась депрессия/весеннее обострение/или что-то ещё и он удалил Амьюз  с гитхаба. У меня на компе сохранился архив с этой полезной прогой, решил поделиться: https://www.dropbox.com/scl/fi/5w0eycv8c2gtdvgs8f1pm/Amuse_v1.3.0.zip?rlkey=8ptq...

Please, compile an executable for Windows.