Skip to content

octantus/Web-scraper-for-marketplace

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

13 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Веб-скрапер динамического маркетплейса с пагинацией

Проект выполнен для подбора выгодных предложений со скидкой и бонусами для личных целей.

Цель

Создать веб-скрапер, собирающий данные по конкретной категории маркетплейса. Предусмотреть пагинацию.

Этапы работы

  1. Реализовала веб-скрапер на Python.
  2. Использовала библиотеки: requests, json, os.
  3. Запросы формировала через сURL.
  4. Организовала вывод json-файла по каждой функциональной процедуре.

Стек проекта

Python (requests, json, os).

Результат

Скрапер работает корректно, выполняет поставленные задачи. Имеет две версии - с пагинацией и без. Скрапер можно использовать для различных категорий товаров. Применение полученных данных возможно для анализа цен конкурентов и т.д. Планирую доработку с отображением отзывов и реализацию в Telegram-боте.

Использование

Для использования достаточно выгрузить файл main.py и configuration.py. Сохранить оба файла в одной папке, исполнить main.py. После исполнения в директории появится папка data, в которой появятся .json файлы с необходимой информацией. Файл main.py можно модернизировать под любые задачи и категории поиска.

About

Веб-скрапер для динамического маркетплейса с пагинацией.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages