Чем своя модель отличается от облачной
Облачная модель живёт у компании, которая её сделала. Вы отправляете ей текст через интернет и платите за каждый запрос. Локальная модель работает на вашем компьютере или сервере: текст никуда не уходит, а платите вы за железо и электричество.
У меня работают обе. Большие статьи журнала пишет облачная модель, а рутину офиса ведёт своя: разбор задач, правки кода, проверки, ответы бота. Делю я их по простому признаку: где ошибка стоит дорого, там сильнее модель, где запросов много, там дешевле своя.
Что тянет одна видеокарта
Моя основная модель — Bonsai 2 на 27 миллиардов параметров. Она сжата так, что помещается на одну видеокарту RTX 3090 с 24 ГБ памяти и занимает около 14 ГБ. Остальная память остаётся для зрения, голоса и роликов.
- Один запрос модель отвечает со скоростью около 53 токенов в секунду, это быстрее, чем человек читает.
- Три запроса сразу идут по 22 токена в секунду каждый: вместе быстрее, по отдельности медленнее.
- На правках кода, где ответ во многом повторяет исходный текст, ускоритель внутри сервера даёт прирост почти в пять раз.
На процессоре та же модель выдаёт около одного токена в секунду, поэтому большую модель без видеокарты я не запускаю. Маленьким моделям процессора хватает: модель поиска по смыслу на нём разобрала получасовое видео за пятнадцать минут.
Как она устроена у меня
Одна модель обслуживает весь офис, поэтому вокруг неё пришлось построить порядок. Запросы агентов стоят в общей очереди: длинные задачи идут в одни слоты сервера, короткие в другие, и ответ боту не ждёт, пока модель пишет большой разбор.
- Сторож проверяет модель каждые десять секунд и, если она упала, поднимает её снова примерно за десять секунд.
- Видеокарта одна, и её делят по расписанию: днём на ней собираются ролики, ночью модель учится на собственных прогонах.
- Модель для поиска по смыслу работает на процессоре и видеокарту не трогает вовсе.
Без этого порядка своя нейросеть быстро превращается в капризную машину, которую надо перезапускать руками. С ним она работает неделями без моего участия, а мне приходит только отчёт.
Сколько она потребляет
Видеокарта с моделью в простое берёт около 36 Вт, под нагрузкой около 250 Вт. Расход я меряю не на глаз: отдельная программа каждые пять секунд записывает мощность карты, и я вижу, сколько энергии ушло на каждую задачу.
Мерило у меня одно: больше полезного результата на меньшее потребление. Если агент запускался сто раз и ничего не сделал, он сжёг энергию впустую, и это видно в отчёте. Нагрев я тоже держу под контролем: когда вентиляторы карты подходят к 70% оборотов, тяжёлые задачи ждут, пока она остынет.
Когда своя модель выгоднее, а когда нет
Своя модель выгодна, когда запросов много и они идут каждый день, когда данные нельзя отдавать наружу и когда вам нужна предсказуемая цена, которая не зависит от тарифов чужой компании.
У меня так работают ответы ботов, разбор находок разведчика площадок и ночная проверка агентов. Запросов много, каждый короткий, и платить облаку за каждый из них было бы дороже, чем держать свою модель включённой.
Она не нужна, если нейросеть нужна вам раз в неделю: облако обойдётся дешевле и не потребует обслуживания. И она хуже больших облачных моделей в сложных текстах. Я пробовал дообучить свою модель на правилах и коде офиса, и проверка не пустила результат в работу: правильных ответов стало 7 из 60 вместо одного, этого мало.
С чего бы я начал: взял бы одну повторяющуюся задачу с вашими данными и запустил её на небольшой модели. Если она справляется, остальное можно переносить постепенно.