Документация
Описание функциональных характеристик
- Публичная документация программного обеспечения
- Программное обеспечение: «Агрегатор новостей», версия 1.0
- Правообладатель: ООО «ТЕХ СОЛЮШЕН»
- ИНН 7707445409 • ОГРН 1207700425569
- Редакция от 24 сентября 2026 г.
1. Назначение программного обеспечения
«Агрегатор новостей» — серверное программное обеспечение для автоматизированного сбора материалов из информационных веб-источников, их отбора по заданным правилам, выявления и исключения дублирующихся материалов, формирования очереди публикаций и администрирования процессов через веб-интерфейс.
Программа предназначена для организаций и пользователей, которым требуется централизованно собирать и обрабатывать новостные и иные информационные материалы из нескольких источников.
2. Основные функциональные возможности
- подключение и получение материалов из RSS- и Atom-лент;
- получение материалов с HTML-страниц веб-сайтов;
- фильтрация материалов по включающим и исключающим ключевым словам с учетом русских словоформ;
- выявление и исключение дублирующихся материалов;
- формирование очереди материалов и настройка времени публикации;
- управление источниками, словарями, очередью и параметрами работы через веб-интерфейс администрирования;
- опциональное получение материалов из публичных Telegram-каналов;
- опциональная публикация подготовленных материалов в Telegram и получение пользовательских оценок через Telegram-бота;
- опциональная обработка отдельных веб-страниц с динамически формируемым содержимым с использованием внешнего сервиса Firecrawl.
3. Входные и выходные данные
Входными данными являются адреса и параметры информационных источников, материалы RSS/Atom-лент и HTML-страниц, заданные пользователем правила фильтрации и параметры очереди. При включении дополнительных интеграций входными данными также могут быть материалы публичных Telegram-каналов.
Результатом обработки являются отобранные и дедуплицированные материалы, сведения о результатах фильтрации и сформированная очередь. При включении Telegram-публикации результатом также являются сообщения, направленные в настроенные Telegram-каналы, и полученные через Telegram-бота пользовательские оценки.
4. Базовый и дополнительный функционал
Базовый функционал программы не требует подключения к Telegram или Firecrawl. Без указанных внешних интеграций доступны веб-интерфейс администрирования, сбор материалов из RSS/Atom и HTML-источников, фильтрация, дедупликация и формирование очереди.
Telegram используется только для дополнительных сценариев: получения материалов из публичных Telegram-каналов, публикации материалов и обработки оценок через Telegram-бота. Firecrawl используется только при включении соответствующей настройки для отдельных динамических веб-страниц.
5. Архитектура и программная среда
| Компонент | Использование |
|---|---|
| Способ развертывания | Docker Compose на Linux-сервере |
| Серверная часть | PHP 8.4, Apache 2.4 |
| Базовая среда контейнера приложения | Debian 12 (Bookworm) |
| Система управления базами данных | PostgreSQL 16 |
| Дополнительный рабочий процесс | Python 3 |
| Веб-интерфейс | JavaScript, Bootstrap 5.3.3 |
| Опциональная интеграция с Telegram | Telegram Bot API; Telegram MTProto через библиотеку Telethon |
| Опциональная обработка динамических страниц | Firecrawl API |
6. Варианты развертывания и доступ
Программа может быть развернута на Linux-сервере заказчика либо на серверной инфраструктуре ООО «ТЕХ СОЛЮШЕН». Управление программой осуществляется через веб-браузер.
В стандартной конфигурации Docker Compose веб-интерфейс доступен по адресу http://<адрес-сервера>:8080/. Порт может быть изменен параметром HTTP_PORT.
7. Работа при недоступности внешних интеграций
При недоступности Telegram сохраняются запуск программы, доступ к веб-интерфейсу, получение материалов из RSS/Atom и HTML-источников, фильтрация, дедупликация и формирование очереди. Функции, непосредственно связанные с Telegram, в этот период недоступны.
Недоступность Firecrawl не препятствует работе базового функционала программы; не выполняется только опциональная обработка страниц, для которых был выбран соответствующий способ получения содержимого.
8. Технические условия эксплуатации
Для серверного развертывания требуется Linux-сервер с Docker и Docker Compose, сетевым доступом к используемым источникам и достаточным дисковым пространством для контейнерных образов, базы данных и рабочих данных. Требования к ресурсам зависят от количества источников, интенсивности обработки и объема хранимых данных.
В действующей серверной конфигурации установлены лимиты оперативной памяти контейнеров: PostgreSQL — 256 МБ, web — 288 МБ, worker — 192 МБ. Эти значения описывают используемую конфигурацию и не устанавливаются как универсальные минимальные требования.
Для клиентского рабочего места требуется современный веб-браузер и сетевой доступ к серверу, на котором развернуто программное обеспечение.
9. Связанная документация
Порядок подготовки серверной среды, установки, запуска и эксплуатации приведен в документе «Руководство по установке и эксплуатации программного обеспечения „Агрегатор новостей“, версия 1.0».