Редакция, которая живёт в системнике

// карта системы

Одна новость, шесть машинных цехов

Кликните на любой узел — расскажу, что он делает. Оранжевый пунктир — путь новости; всё внутри рамки крутится на одном домашнем сервере (плюс виртуалка со старенькой GTX 1060, которой нашлась работа).

// конвейер подробно

Четырнадцать стадий — и все по делу

Каждый материал проходит их строго по порядку; каждая стадия едет в свою очередь и на своё железо. Разворачивайте.

• parse_and_normalizenews.cpu

  Разбор поста: текст, медиа, ссылки, чистка мусора. Здесь же три сторожа: детектор бессодержательных источников («подпишись на канал», копирайт-заглушки), рекламный стоп-лист и жёсткий отсев военной тематики — не «переписать нейтрально», а отклонить и внести источник в стоп-лист навсегда.

  Если ошибиться: на портал уезжает пост «Контент недоступен, подпишитесь» с сгенерированной обложкой. Проходили. Больше не повторится.

• exact_dedupnews.cpu

  Точный дедуп: одна новость прилетает из пяти каналов за час. Побеждает первый, остальные помечаются дублями и до нейросетей не доезжают — GPU-время слишком дорого, чтобы переписывать одно и то же.
• research_contextnews.gpu.1060gemma3:4b

  Лёгкая модель на GTX 1060 собирает контекст: о чём вообще новость, какие факты главные, чего не хватает. Черновику потом легче держаться сути, а не фантазировать.
• generate_draftnews.gpu.5060gemma 26B

  Тяжёлая модель пишет материал в фирменном голосе «уставшего учителя» — саркастичном, но по делу. Длина адаптивная: из заметки в три строки не раздувается лонгрид. На чувствительных темах сарказм автоматически отключается.

  Если ошибиться: LLM любит отвечать «Как языковая модель, я не могу…» — для таких случаев дальше стоит мета-гард.

• generate_seo_metadatanews.gpu.1060gemma3:4b

  Заголовок, описание, ключевые слова, слаг — лёгкая модель на виртуалке, пока большая карта занята следующим черновиком. Конвейер, а не очередь к одному станку.
• generate_covernews.gpu.5060Stable Diffusion

  Редакционная фурри-обложка 1024×1024 по YAML-профилю: единый стиль карточек, персонаж-антропоморф по теме материала. Готовую картинку проверяет SFW-судья — не по промпту, а по пикселям. Самая долгая стадия: именно она задаёт темп публикаций.
• qa_reviewnews.gpu.1060gemma3:4b

  LLM-судья оценивает материал: фактура, тон, структура, заголовок. Плюс детерминированный мета-гард — ловит «ответы ассистента» и огрызки, которые судья-нейросеть пропускает. Завёрнутый материал уходит на перегенерацию (ограниченное число попыток) или к оператору.
• generate_interactive💤 за фиче-флагом

  Спящая стадия: генерация мини-игр к материалам. Выключена — маленькая модель выдавала заглушки вместо игр, а публиковать заглушки редакция отказывается. Проснётся, когда появится честный гейт интерактивности.
• routenews.cpu

  Маршрутизация по 15 рубрикам — от «Дошколят» до «Грантов и карьеры». У каждой рубрики свой архетип подачи; таксономия на портале создаётся автоматически.
• wait_publication_turnnews.cpu

  Ворота публикации: материалы выходят по очереди, с минимальным интервалом — портал не любит очередей из ботов, а читатели не любят простыни из десяти постов разом.
• publish_or_enqueuenews.publish

  Публикация через WordPress REST. Хостинг портала капризный, поэтому: DB-брейкер (после серии отказов запросы замирают и ждут), лимитер частоты и никаких ретраев в лоб. Недоступен — материал честно ждёт в очереди.
• update_derived_pagesnews.publish

  Обновление производных страниц: подборки, дайджесты, рубрикаторы — всё, что зависит от свежепубликованного материала.
• crosspost_to_vknews.publishвыкл. по умолчанию

  Кросспост в VK. После боёв с их API редакция выбрала дзен-путь: отдельная RSS-лента, которую VK забирает родным импортёром. Стадия в конвейере осталась — за флагом, на всякий случай.
• notify_operatornews.notify

  Карточка в Telegram оператору: заголовок, обложка, ссылка и кнопки — «ок», «перегенерить черновик/заголовок/обложку», «отложить». Последняя стадия, после которой воркфлоу закрывается зелёненьким.

// обложки

Фурри-редакция: у каждой новости — морда

Все 15 рубрик рисуются в едином «редакционном» стиле: антропоморфные персонажи в человеческих ситуациях — медведь-чиновник в костюме, барсук над учебниками, лис у доски. Локальный Stable Diffusion, 1024×1024, параметры в YAML-профилях (не в коде!), а готовые пиксели проверяет SFW-судья. Вот настоящие обложки с портала:

Генерация одной обложки на серийной видеокарте — несколько минут. Пока она рисуется, тяжёлая языковая модель засыпает и отдаёт видеопамять; со стороны это выглядит как «всё зависло», и однажды дежурный инженер чуть не «починил» здоровый конвейер. Теперь про это знает даже мониторинг.

// код напоказ

Четыре фрагмента, которые всё объясняют

Настоящие идеи из кодовой базы — в упрощённом, безопасном пересказе: без секретов, адресов и внутренних деталей.

ACTIVE_PRODUCTION_STAGE_ORDER: Final[tuple[str, ...]] = (
    STAGE_PARSE_AND_NORMALIZE,   STAGE_EXACT_DEDUP,        STAGE_RESEARCH_CONTEXT,
    STAGE_GENERATE_DRAFT,        STAGE_GENERATE_SEO_METADATA,
    STAGE_GENERATE_COVER,        STAGE_QA_REVIEW,          STAGE_GENERATE_INTERACTIVE,  # ← спит за флагом
    STAGE_ROUTE,                 STAGE_WAIT_PUBLICATION_TURN,
    STAGE_PUBLISH_OR_ENQUEUE,    STAGE_UPDATE_DERIVED_PAGES,
    STAGE_CROSSPOST_TO_VK,       STAGE_NOTIFY_OPERATOR,
)

STAGE_PLACEMENT = {
    "generate_draft": Placement(
        queue="news.gpu.5060",
        model="gemma-27b",
    ),
    "qa_review": Placement(
        queue="news.gpu.1060",
        model="gemma3:4b",
    ),
}

def assert_placement(stage, runtime):
    want = STAGE_PLACEMENT[stage]
    if runtime.model != want.model:
        # не та модель в не той очереди —
        # падаем сразу, а не в 3 часа ночи
        raise RuntimeError("wrong model")

META_PATTERNS = (
    "как языковая модель",
    "как ии, я не могу",
    "вот переписанный текст",
    "надеюсь, это поможет",
)

def looks_like_meta_response(draft: str) -> bool:
    # LLM-судья такое пропускает: для него
    # это «вежливый, связный текст».
    # Детерминированный гард — нет.
    low = draft.lower()
    return any(p in low for p in META_PATTERNS)

async def run(self, item_id):
    for stage in PIPELINE_STAGE_ORDER:
        result = await workflow.execute_activity(
            "run_stage", stage, item_id,
            task_queue=queue_for(stage),   # своё железо
            retry_policy=RETRY[stage],
        )
        if result.status in TERMINAL:      # dedup, блок…
            return result                  # честно выходим
        stage = result.next_stage or stage # QA-петля

def before_publish(state):
    if state.consecutive_failures >= THRESHOLD:
        if now() < state.reopen_at:
            # хостинг лежит — не добиваем его
            # ретраями, а тихо ждём очереди
            raise CircuitOpen(state.reopen_at)
    throttle.acquire()   # ≥60 c между постами

// вынужденная инженерия

Зал славы костылей

Красивая архитектура — это половина системы. Вторая половина — решения, которые пришлось изобрести из-за внешних обстоятельств: чужих банов, несовместимых драйверов и железа 2012 года. Мы ими гордимся не меньше.

• Внешний факторДрайверы против времени

  RTX 5060 Ti (2025) и GTX 1060 (2016) не живут в одной системе: новой карте нужен свежий драйвер NVIDIA, ветерану Pascal — legacy-ветка. Вместе они не устанавливаются.

  Наш костыльВиртуалка для пенсионера

  GTX 1060 проброшена целиком в виртуальную машину со своим старым драйвером и собственным llama-сервером. Пикантность: воркер gpu1060-vm физически крутится на хосте — в виртуалку он ходит только за нейросетью, по сети.

• Внешний факторХостинг банит за скорость

  Панель хостинга портала блокирует весь аккаунт за всплеск запросов с одного IP. Банили не раз: и за браузер в wp-admin, и за бодрые ретраи после таймаута.

  Наш костыльРучной метроном на 60 секунд

  Между любыми операциями к хостингу — пауза ≥60 секунд, руками. Скрипт доступа сам себя тормозит, а в репозитории живёт хук, который бьёт по рукам ИИ-агентам за лишние запросы. Анти-DDoS против самих себя.

• Внешний факторSSH, который не SSH

  На хостинге настроен ForceCommand: разрешён только интерактивный шелл. Обычные ssh host 'команда', scp, sftp и rsync не падают с ошибкой — они просто вечно висят.

  Наш костыльPTY + base64 + маркеры

  Самописный tw-run.sh: принудительный псевдотерминал, команды заезжают heredoc'ом в base64, полезный вывод вырезается между маркерами. А файлы едут по FTP. Обычному. Без TLS. На дворе 2026 год.

• Внешний фактор16 ГБ VRAM на всех не хватит

  Gemma 26B и Stable Diffusion вместе в память RTX 5060 Ti не помещаются — а обе живут на одной карте, потому что вторая занята лёгкой моделью.

  Наш костыльСиеста по расписанию

  На время рендера обложки тяжёлая модель выгружается и «спит», после — просыпается с прогревом. Со стороны выглядит как зависание, поэтому знание о сиесте зашито в мониторинг, инструкции и головы.

• Внешний факторГотовые обёртки не пережили наш зоопарк

  Нужен точный контроль видеопамяти, контекста и живучести на двух очень разных картах — от Blackwell до Pascal в виртуалке.

  Наш костыльГолый llama.cpp + честные пробы

  Свои llama-server'ы с фиксированным контекстом на каждую карту. Здоровье меряется не «списком моделей», а реальной пробой генерации: если /completion отвечает — живём, что бы ни говорили обёртки.

• Внешний факторVPN нужен, но прод от него зависеть не должен

  Однажды «деградация хостинга» оказалась мёртвым узлом VPN: туннель на хосте молча умер, и вся диагностика смотрела не туда.

  Наш костыльТуннели — на роутер

  VPN переехал на OpenWrt-роутер с точечной маршрутизацией; сам сервер ходит в сеть напрямую. У роутера — собственная самолечилка по крону: честный пинг через прокси, мёртвый узел переключается без человека.

• Внешний факторПроцессор 2012 года

  i7-3770 прекрасен, но ему четырнадцать лет: тяжёлую математику на нём не покрутишь, а расширить платформу некуда — 32 ГБ это потолок.

  Наш костыльCPU-стадии без нейросетей вообще

  Конвейер спроектирован так, что процессору достаются только детерминированные стадии: парсинг, дедуп, маршрутизация, ворота публикации. Вся матричная жизнь — на видеокартах, диск подметает ночной таймер, а «swap занят» официально не считается сигналом тревоги.

// вокруг конвейера

Один репозиторий — целая экосистема

• Тема «Ember Newsroom»

  Самописная WordPress-тема портала: чистый PHP, ноль билдеров, View Transitions, мегаменю, тёмная тема. Версия 1.8.0 — и эта страница тоже она.

• RSS-мосты

  Плагины лент для Дзена и VK: соцсети забирают материалы родными импортёрами — без хрупких API-интеграций.

• Подкаст-фид

  iTunes-совместимая RSS-лента подкаста — Яндекс.Музыка и приложения подхватывают сами.

• Страницы проектов →

  Эта витрина и страницы четырёх инструментов — тоже часть репозитория.

• /bormotoon/ →

  Персональная страница автора с тумблером «приличный ↔ монгольский».

• Песочница local-wp

  Локальная копия портала в докере — всё проверяется там, прод от браузерных экспериментов огорожен железным правилом.