Данные собирают вручную
Сотрудник каждый день копирует цены, товары или контакты в таблицу.
Развитие существующего проекта
Разработка парсеров
Разрабатываю парсеры для автоматического сбора данных с сайтов, из файлов и открытых источников.
Типовые ситуации
Когда нужен парсер
Нужно следить за ценами конкурентов
Прайсы меняются, а вы узнаёте об этом с опозданием.
Поставщик не даёт выгрузку
Каталог есть только на сайте поставщика, файла или API нет.
Данные разбросаны по источникам
Несколько сайтов, файлов или систем, и всё нужно свести в одну таблицу.
Состав работ
Что делает парсер
Сбор данных
Товары, цены, остатки, характеристики, изображения, контакты, объявления.
Обход защиты источника
Работа с постраничной выдачей, авторизацией, динамическими страницами.
Очистка данных
Привожу к одному виду, убираю дубли и мусор, проверяю на ошибки.
Запуск по расписанию
Парсер работает сам: каждый день, час или в нужное время.
Выгрузка результата
Excel, CSV, XML, база данных или сразу на сайт.
Отчёт о сборе
Сколько собрано, что изменилось, где источник не ответил.
Этапы работы
Как проходит разработка
-
Описание задачи
Вы пишете, откуда брать данные, какие именно и что должно получиться.
-
Проверка источника
Смотрю, отдаёт ли сайт данные стабильно и нет ли ограничений.
-
Согласование
Договариваемся о составе полей, расписании и формате результата.
-
Реализация
Разрабатываю и проверяю на части данных, потом запускаю полностью.
15+
лет коммерческой веб-разработки
Обо мне
Full-stack веб-разработчик
Меня зовут Виталий. Я занимаюсь веб-разработкой более 15 лет: разрабатываю и дорабатываю сайты и интернет-магазины, создаю Telegram-ботов, настраиваю интеграции, автоматизацию и решаю другие задачи, связанные с веб-разработкой.
Все вопросы по задаче обсуждаете напрямую со мной — я сам выполняю работу и отвечаю за результат.
Полезная информация
Вопросы и ответы
Автоматически собирает данные с сайтов или из файлов и сохраняет их в нужном вам виде: таблица, база или прямо на сайт.
Собираю только открытые данные, которые доступны любому посетителю, и с учётом правил источника. Закрытые разделы и личные данные не трогаю.
Парсер может перестать видеть часть данных, тогда нужно небольшое обновление. Это обычная ситуация, делаю её быстро.
Да. По расписанию, с сохранением результата и уведомлением, если источник не ответил.
Ссылка на источник и пример того, что хотите получить: колонки в таблице или поля на сайте.
Зависит от источника: насколько сложно получить данные и сколько полей нужно собирать. Пришлите ссылку на источник — посмотрю и назову стоимость.
Готовы обсудить задачу?
Обсудим вашу задачу
Опишите, что нужно сделать. Я уточню детали, предложу решение и сориентирую по следующему шагу.