Частая проблема владельцев интернет-проектов - наполнение сайта контентом.
Если это интернет-магазин, то бывает необходимо добавить несколько десятков тысяч товаров. Как правило, данные товары уже есть в интернете - на сайтах поставщиков или конкурентов, Яндекс.Маркет или других ресурсах. Если же это сайт информационной тематики, то возникает необходимость в своевременном добавлении актуальных новостей.
Обычно эти действия требуют больших трудозатрат и постоянного мониторинга интернет-ресурсов.
Для облегчения выполнения этих задач используется технология ПАРСИНГА - синтаксического анализатора, преобразующего входные данные в структурированный формат.
Как это происходит:
Создается специальная программа (как правило, индивидуальная под каждую задачу), которая считывает определенные данные с донорского интернет-ресурса, преобразовывает их в нужных формат и записывает в базу данных сайта-реципиента.
Парсинг может быть санкционированным (например, разрешение на него интернет-магазину дает компания-поставщик), или несанкционированным (считывание информации с сайта-конкурента или сайта сходной тематики). Следует отметить, что некоторые интернет-ресурсы защищают информацию от несанкционированного парсинга, а бывает, что хостинг воспринимает парсинг как DDOS-атаку. Но существуют и методы обхода подобных запретов.
Программа-парсер может быть использована один раз, например, для единовременного наполнения интернет-магазина товарами. Также возможна програмирование периодичного выполнения парсинга, например, для актуализации товаров интернет-магазина или актуализации новостной ленты на информационном сайте.
Если вам нужен парсер - обращайтесь в нашу компанию.
Мы найдем оптимальное решение для развития вашего бизнеса в интернете.
