PanSou: высокопроизводительный API-сервис поиска ресурсов в облачных дисках 93

Для поиска учебных материалов или фильмов облачные диски — отличный вариант, но часто приходится перебирать разные облачные хранилища, а некоторые ссылки уже нерабочие.

Решить эти проблемы поможет проект с открытым исходным кодом PanSou — он объединяет несколько источников поиска в единый API, позволяя за один раз выполнить поиск по всем основным облачным платформам.

PanSou — это высокопроизводительный API-сервис для поиска ресурсов в облачных хранилищах, поддерживающий поиск по каналам TG и поиск с помощью пользовательских плагинов. Система спроектирована с приоритетом производительности и масштабируемости, обеспечивает параллельный поиск по множеству каналов и плагинов, интеллектуальную сортировку результатов, а также группировку по типу облачного хранилища.

Возможности PanSou

✅ Высокопроизводительный поиск: одновременное выполнение поиска по нескольким каналам TG и асинхронный поиск плагинов обеспечивают более высокую скорость.

✅ Категоризация по типу облака: автоматическое распознавание множества ссылок на облачные хранилища с сортировкой по типу.

✅ Интеллектуальная сортировка: учитывается уровень плагина, свежесть по времени, приоритетные ключевые слова и другие факторы.

✅ Асинхронная система плагинов: возможность расширения источников поиска через плагины с асинхронным режимом «как можно скорее отвечать, продолжать обработку».

✅ Двухуровневое кэширование: используется шардированный кэш в памяти и шардированный дисковый кэш, что значительно повышает скорость повторных запросов и параллельную производительность.

Поддерживаемые типы облачных хранилищ

Поддерживаются Baidu Netdisk, Alibaba Cloud Drive, Quark Cloud Drive, Tianyi Cloud Drive, UC Cloud Drive, Mobile Cloud Drive, 115 Cloud Drive, PikPak, Xunlei Cloud Drive, 123 Cloud Drive, magnet-ссылки, ссылки eDonkey и другие.

Техническая архитектура PanSou

✅ Слой утилит (util/): система двухуровневого кэширования (cache/), рабочий пул (pool/), HTTP-клиент, инструменты парсинга и др.

✅ Слой плагинов (plugin/): определяет интерфейсы плагинов, базовый класс асинхронного плагина, а также конкретные плагины (такие как jikepan, pan666, hunhepan и другие).

✅ Слой сервисов (service/): включает интеграцию с кэшем, сервис поиска и т. д.

✅ Слой моделей (model/): определяет структуры данных результатов, запросов и ответов плагинов.

✅ Слой API (api/): обработчики, промежуточное ПО, маршрутизация и др.

✅ Система кэширования: двухуровневый кэш, включающий шардированный кэш в памяти и шардированный дисковый кэш, с сериализацией GOB; некоторые плагины имеют собственные механизмы кэширования (кэш результатов поиска, кэш страниц деталей и др.).

✅ Управление параллелизмом: реализовано через util/pool — управление рабочим пулом для контроля одновременных задач.

Развёртывание и использование

✅ Поддерживается развёртывание через Docker (интегрированная версия с фронтендом и бэкендом и версия только бэкенд API), быстрый запуск с помощью команд Docker или Docker Compose.

✅ Также возможна установка из исходного кода; требуется окружение Go 1.18 и выше, опционально — прокси SOCKS5 (для доступа к сайтам Telegram).

Система плагинов

PanSou позволяет расширять источники поиска через плагины, предоставляется руководство по их разработке; уже доступно множество плагинов (таких как huban, pan666, hdr4k и других), каждый плагин может реализовать собственную логику поиска, стратегию кэширования и т. д.

Кроме того, автор поделился подробной документацией по проектированию и разработке системы PanSou — разработчики, которым интересно, могут изучить её принципы работы.