description

Моніторинг цін конкурентів в інтернеті

Змiст
1. Моніторинг це…
2. Моніторинг цін конкурентів в інтернеті.
3. Мониторинг цiн в e-сommerce.

3.1. Що таке моніторинг цін конкурентів?

3.2. Як моніторинг цін може допомогти компанії заробити більше?

4. Для чого потрібен моніторинг цінконкурентів?
5. Як проводити моніторинг цін конкурентів?

5.1. Ручний моніторинг силами співробітників компанії..

5.2. Автоматичний парсинг цін.

5.2.1. Купівля готового парсеру.

5.2.2. Написання власного парсеру..

5.2.3. Проблеми самостійного парсинга.

5.2.3.1. Чому захищаються інтернет-магазини?

5.2.3.2. Механізми захисту від парсинга і алгоритми боротьби з ними.

5.3. Хмарні сервіси парсинга цін.

5.4. Спеціалізовані інтернет-сервіси моніторингу цін.

5.5. Обзвон конкурентів – обов’язкове доповнення до будь-якого методу онлайн моніторингу цін.

5.6. Збір цін з прайс-листів постачальників.

6. Юридичні аспекти і складності моніторингу цін.
7. Висновки та рекомендації .

1. Моніторинг це…

Почну з визначення терміна моніторинг, яке пропонує Вікіпедія .

«Моніторинг — система постійного спостереження за явищами і процесами, що проходять в навколишньому середовищі і суспільстві, результати якого служать для обгрунтування управлінських рішень по забезпеченню безпеки людей та об’єктів економіки. В рамках системи спостереження відбувається оцінка, контроль об’єкта, управління станом об’єкта залежно від впливу певних факторів.»

В рамках нашого аналізу моніторингу цін в інтернеті, дам наступне визначення, мониторинг — регулярний збір і аналіз онлайн інформації про ціни партнерів і конкурентів, які будуть використані для побудови процесу прийняття рішення про ціноутворення, а також для інформування партнерів по бізнесу і вироблення політики роздрібних цін в інтернеті. Найближчий російський еквівалент поняття” моніторинг цін “, це поняття « відстеження цін ».

Що таке моніторинг цін, що таке зріз цін, навіщо потрібен моніторинг цін в маркетингу – на цей і ряд інших питань я відповім в наступних розділах.

2. Моніторинг цін конкурентів в інтернеті

Моніторинг цін (monitoring price) конкурентів в інтернеті – це регулярне і системне спостереження за станом онлайн цін з метою їх оцінки, вивчення тенденцій, розуміння конкурентного середовища. Збір цін необхідний для ефективного ціноутворення. Результат – швидкі корективи в оптові і роздрібні ціни компаній, в РРЦ для партнерів і клієнтів.
Аналіз моніторингу цін – це процес прийняття рішення про ціноутворення компанії на підставі даних про ситуацію з цінами конкурентів, пропозиції постачальників, розуміння собівартості і норми прибутку внутрішніх процесів і ринкових цілей самої компанії. Для управління цим процесом використовуються складні математичні моделі і машинне навчання на базі штучного інтелекту.
Моніторинг цін конкурентів інтернет-магазинів – це обов’язкова процедура для кожного учасника електронної комерції. Вона складається з вибору конкуруючих з інтернет-магазином майданчиків по різних товарних категоріях і систематичного порівняння цін свого майданчика з цінами конкурентів. Мета цієї процедури – коригування власних цін магазину для отримання максимального прибутку від реалізації товарів.

Основний метод моніторингу цін ринку – систематичне спостереження за цінами (регулярний збір – зріз цін), що дозволяє постійно дізнаватися про рівень цін, знижки та акції, спеціальні пропозиції і розпродажі клієнтів і конкурентів.

Цілями моніторингу цін в маркетингу є:

  • прогнозування зміни цін в інтернеті;
  • виявлення цінових стратегій конкурентів;
  • контроль цін в різних онлайн каналах продажів;
  • пошук нових клієнтів та партнерів;
  • вивчення динаміки ринкових цін, що впливають на роботу компанії.

До завдань онлайн моніторингу цін в маркетингу відносяться:

  • аналіз ціни на товари або послуги в інтернеті;
  • визначення кількості продавців товару онлайн, прогнозування його попиту;
  • моніторинг цін основних продавців на ринку;
  • відстеження цінових тенденцій ринку;
  • відстеження впливу цін на основних споживачів товарів в інтернеті;
  • збір статистики зміни ціни на товари на інтернет-майданчиках;
  • моніторинг змін в маркетингової активності компанії, партнерів і конкурентів.

Мониторинг цен конкурентов в интернете

Який необхідний моніторинг цін в онлайн маркетингу:

  1. моніторинг цін в інтернет-магазинах;
  2. моніторинг акцій і спецпропозицій інтернет-магазинів;
  3. моніторинг цін на прайс агрегаторах;
  4. моніторинг цін і знижок на сайтах конкурентів;
  5. моніторинг цін на маркетплейсах;
  6. моніторинг цін в рекламних оголошеннях в пошуковій видачі;
  7. моніторинг цін на різних дошках оголошень;
  8. моніторинг нецінових методів просування і поширення товарів клієнтами і конкурентами;
  9. моніторинг відгуків про ціни споживачів продукції компанії.

3. Моніторинг цін в e-commerce

3.1.Що таке моніторинг цін конкурентів?

Моніторинг цін – це бізнес-процес відомий всім продавцям з давніх-давен. До активного розвитку інтернет-торгівлі співробітники торгових компаній відвідували точки продажів конкурентів і запам’ятовували або записували ціни на товари на полицях. Повертаючись до свого магазин або точку на ринку, вони зводили моніторинг цін в звіти і разом з менеджерами своєї компанії аналізували результати чергового зрізу цін.

Мета такого моніторингу цін та наявності товарів у конкурентів полягає в своєчасному реагуванні на зміну цін на ринку. Якщо компанії робили ці відстеження регулярно, вони мали конкурентні ціни та не втрачали клієнтів.

Були у цього методу і свої недоліки. Сам моніторинг цін товарів займав багато часу та й ще потрібен час на зведення результатів моніторингу роздрібних цін в зручні для аналізу формати. Йшли години на прийняття рішень по зрізах цін і на їх зміну в своїх магазинах. Поки час йшов, конкуренти вносили нові зміни в свої ціни і все повторювалося по колу.

Все змінилося з розвитком інтернет-торгівлі та переходом моніторингу цін конкурентів в онлайн. Тепер співробітники різних компаній займаються відстеженням цін в інтернеті. Вони отримують дані про ціни і акції конкурентів в режимі реального часу і вже не можуть обійтися без автоматичних інструментів онлайн моніторингу цін. Це дає можливість визначити цінову політику конкурентів за лічені хвилини, прийняти рішення про власне ціноутворення на основі реального зрізу цін на ринку, динамічно змінювати ціни на свою продукцію, грунтуючись на моніторингу запасів у конкурентів.

3.2. Як моніторинг цін може допомогти компанії заробити більше?

Конкурентна розвідка отримала новий поштовх у розвитку з початком використання автоматизованих систем моніторингу цін. Якщо ви ще не займаєтеся моніторингом цін і запасів конкурентів, ви багато втрачаєте. Можна сказати, моніторинг цін дозволяє компаніям змінювати ціни на свої товари відповідно до зміни ринкових цін.

Ось приклади такої діяльності.

Припустимо ви продаєте шуруповерт за 100 доларів. Ваші конкуренти продають цей інструмент за 90 доларів. Тож не дивно, що клієнти, яким потрібен цей шуруповерт, витратять десять хвилин на перевірку цін в вашому магазині і магазині вашого конкурента і зроблять покупку саме у конкурента. Ви залишитеся без продажів і втратите гроші.

Припустимо також, що ви – єдиний продавець даного шуруповерта, у якого він є в наявності. Якщо ви будете продавати його по 90 доларів, а клієнти будуть згодні заплатити за нього 100 доларів, ви теж недоотримаєте прибуток. Тільки система моніторингу цін і запасів товарів конкурентів, що працює в компанії, допоможе уникнути обох наведених вище сценаріїв.

Ось другий приклад. Дві компанії конкурують між собою. Вони мають приблизно рівний обсяг продажів товарів одного постачальника, який відвантажує свій товар і одному, і іншому продавцю. Одна з компаній (назвемо її – «Альфа») при проведенні моніторингу цін виявила, що роздрібна (прайсова) ціна у конкурента (назвемо його – «Бета») на деякі товари дорівнює тій ціні, по якій постачальник відвантажує свій товар компанії «Альфа» . Зрозуміло, націнка на товар навряд чи може бути нульовою або негативною. Ми не розглядаємо ситуацію з анекдоту про «навар і свіжу копійку». Зрозуміло, що у конкуруючої компанії «Бета» є додаткова знижка від постачальника на дані товари. Це дає можливість компанії «Бета» ставити таку націнку, яка зрівнює роздрібну ціну з закупівельною ціною компанії «Альфа».

Насамперед потрібно перевірити достовірність даних. Можливо, спрацював захист від «парсинга цін» інтернет-магазину; можливо, ціна в каталозі на сайті одна, а при оформленні замовлення з кошика вже зовсім інша; можливо, співробітники магазину просто забули оновити ціну в картці товару і торгують у збиток. Якщо достовірність цінового моніторингу підтверджена, то у компанії «Альфа» є серйозний привід задуматися з приводу свого постачальника аналізованої продукції.

В кінці даного розділу я приведу такі причини, за якими ви повинні постійно моніторити ціни ваших конкурентів:

  • рекламна компанія не принесе успіху без конкурентної ціни;
  • ціни грають першочергову роль у вирішенні потенційного клієнта про покупку;
  • ціни можуть дати конкурентну перевагу;

конкурентні ціни допоможуть управляти запасами товарів

Мониторинг цен конкурентов в интернете Дізнайтеся, хто продає Вашу торгову марку прямо зараз!

4. Для чого потрібен моніторинг цін конкурентів 

  • Для розуміння, за якою ціною в даний момент торгують конкуренти.
  • Для аналізу цін конкурентів і вибору їх кращої пропозиції для клієнтів.
  • Для зіставлення цієї пропозиції з пропозицією нашої площадки.
  • Для переоцінки наших товарів на підставі даних аналізу конкурентів.

У своєму блозі ми неодноразово писали про важливість розуміння ситуації на ринку

У цьому розділі я постараюся навести приклади, які показують, як ціна на товар впливає на рішення покупців і наскільки моніторинг цін товарів конкурентів необхідний кожному бізнесу.

Факти

Згідно з опитуваннями, проведеними в США кілька років тому, для 81% покупців найважливішим фактором при виборі магазину для покупки товарів є його цінова політика. Як з’ясували дослідники, 85% молодих покупців, що здійснюють покупки зі своїх смартфонів, порівнюють цінові пропозиції різних продавців. Вони також використовують онлайн-сервіси, які роблять моніторинг цін магазинів і допомагають знаходити найкращу цінову пропозицію. Потенційний покупець бачить результати моніторингу цін в магазинах, зведені в зручний аналітичний звіт про стан і динаміку цін продавців. Деякі сервіси, які роблять моніторинг ринкових цін, за його результатами можуть генерувати прогноз зміни цін у майбутньому.

Наведене вище дослідження показало, що цінова політика компанії є найважливішим фактором, що впливає на загальний успіх бізнесу. Моніторинг цін на товари конкурентів необхідний, оскільки при зниженні ними цін на одні й ті ж товари на інших онлайн-майданчиках клієнти виберуть ті магазини, в яких ціна нижча.Це підтверджують і дослідження, проведені на замовлення компанії Розетка, наведені її власником під час доповіді на iforum 2019. У своїй доповіді Владислав Чечоткін показав, що при інших рівних умовах 65% потенційних покупців вибирають інтернет-магазин, де ціна дешевше.

Сергій Галицький, засновник мережі роздрібних магазинів «Магніт», в своєму інтерв’ю Forbes сказав: «При зниженні ціни банана на два рубля, ми продаємо їх на 100 тонн в день більше». Вже по цій фразі можна зрозуміти, наскільки він вважає важливим моніторинг цін на товари у конкурентів і власне конкурентне ціноутворення. Існують і інші фактори в оцінці продукту, крім ціни, але заперечувати її прямий вплив на продаж не можна. Про це Сергій Галицький каже в своєму наступному інтерв’ю.

5. Як проводити моніторинг цін конкурентів?

Як провести моніторинг цін конкурентів?
1.Найти всіх конкурентів, які торгують вашими товарами в інтернет.
2.Вибрать тих з них, хто реально своїми цінами впливає на ваші продажі онлайн.
3.Включіть систематичний моніторинг їх цін.
4.Прінімать рішення про ціноутворення, згідно з результатами моніторингу.

У цьому розділі поговорімо про те, як провести моніторинг цін конкурентів.

Я розповім про методи моніторингу в порядку зростання їх складності: від найпростіших, доступних будь-якому постачальнику товарів в інтернет і невеликого інтернет-магазину, до складних і автоматизованих, які підійдуть для великого бізнесу, де потрібно промоніторити ціни багатьох тисяч позицій асортименту.

Якщо після прочитання цього розділу залишаться питання, як зробити моніторинг цін правильно, яка система моніторингу цін краще – власна чи залучена на аутсорсингу, пропоную додатково прочитати нашу статтю.

5.1. Ручний моніторинг силами співробітників компанії

Для того щоб заощадити, деякі компанії проводять дослідження своїми силами. При цьому вони стикаються з низкою труднощів. По-перше, стежити за цінами потрібно регулярно. Особливо, якщо це стосується невеликих магазинів, так як великі мережі так чи інакше продають товар дешевше, ніж роздрібні торговці, за рахунок розподілу витрат.

У невеличких організаціях моніторингом іноді займаються випадкові співробітники. При цьому часто в їх посадові обов’язки це не входить. Їм доводиться проводити моніторинг, тому що компанії просто невигідно наймати персонал для виконання одного завдання.

Ручний моніторинг цін в інтернет – метод простий і доступний для будь-якого бізнесу.

Співробітники компанії відвідують інтернет-ресурси з метою моніторингу цін на їх товарні пропозиції. Коли асортимент невеликий і кількість ресурсів для моніторингу не перевищує двох десятків, навіть один співробітник з цим впорається. За пару годин в день він може зібрати всі цінові пропозиції та занести їх в таблицю результатів моніторингу. Якщо ж товарний ряд розширюється, ручний моніторинг потребуватиме збільшення людських ресурсів для ручного заповнення файлів Excel. Для підтримки конкурентних цін на своїх онлайн ресурсах потрібно щодня, а іноді і кілька разів в день, відвідувати сайти конкурентів. Ця діяльність забирає багато часу. У разі, якщо у вас багато товарів і хоча б десяток конкурентів, не обійтися без штатного співробітника, який віддасть весь свій робочий час тільки виконанню цього завдання.

Відстеження цін конкурентів можна робити вручну на прайс-агрегаторах. Рекламні площадки або прайс-агрегатори (Яндекс Маркет, Price.ua, Hotline.ua і т.д.) можуть стати хорошим джерелом інформації для ручного моніторингу цін. Вам достатньо ввести ваші товари в рядок пошуку цих ресурсів, і ви отримаєте повний список всіх конкурентів з цінами на їх пропозиції. Це дає можливість швидко відстежити ціну на Ваш товар у багатьох інтернет-магазинах. На жаль, і цей метод моніторингу цін в онлайн не ідеальний. Далеко не всі ваші конкуренти дають рекламу на прайс-агрегаторах. Частина інтернет-магазинів спеціально встановлює на прайс-агрегаторах ціну нижче, ніж вони торгують на своїх майданчиках для залучення трафіку потенційних покупців на свій сайт. Деякі інтернет-магазини, що дають рекламу по ряду товарів з демпінговою ціною на прайс-агрегаторах, зовсім не торгують цими товарами на своїх сторінках. Всіх потенційних клієнтів, які перейшли з прайс-майданчика, вони намагаються переключити на покупку інших товарів, якими реально торгують.

5.2. Автоматичний парсинг цін

Парсер цін для потреб організації можна купити готовий, можна замовити написання парсеру спеціально під ваші цілі моніторингу цін, можна скористатися послугами хмарних сервісів, що надають послугу парсинга на своїх потужностях.

Кожен з наведених вище методів має свої переваги і недоліки. Про це я розповім далі.

5.2.1. Купівля готового парсеру

Парсер сайтів https://parserok.ru/

 

Програма «Парсер сайтів» розроблена для збору, аналізу, вибірки, угруповання, структуризації, трансформації даних з подальшим виведенням даних в таблицю Excel в форматах xls і csv.

Парсер створений на VBA (Visual Basic for Applications) і представлений у вигляді надбудови для MS Excel. По суті, це набір макросів. Кожен набір відповідає за виконання певних функцій при обробці.

Для парсинга будь-якого сайту пишеться підпрограма управління макросами (файл-настройка з розширенням .xlp).

Парсер сайтів може наступне:

  • парсинг товарів для інтернет-магазинів і зведення у таблицю для подальшого експорту даних. Зв’язок по артикулах з прайсами постачальників;
  • завантаження фото під потрібними іменами в папки на жорсткий диск;
  • формування баз контактів організацій: e-mail, телефонів, адрес, найменувань;
  • збір і зведення в таблицю коефіцієнтів і результатів спортивних подій для подальшого аналізу;
  • відстеження і пошук необхідних матчів за умовами;
  • парсинг файлів і папок на жорсткому диску, пошук по масці, зміна імені, видалення, угруповання.
  • завантаження файлів будь-яких форматів з мережі інтернет на жорсткий диск або в хмарне сховище: фотографії, музика, документи.
  • Запуск програми відбувається за розкладом: раз на годину, тиждень і т.д. Є можливість зациклення програми для відстеження динамічних даних на веб-ресурсах. При потрібному збігу даних реалізований алгоритм передачі їх на e-mail або в Telegram.

За допомогою парсера можливі

  • парсинг з проходженням авторизації, передачею cookies та рішенням різних captcha;
  • збір і підстановка / передача даних через браузер (наприклад, відправлення повідомлень, простановка лайків в соцмережах і багато іншого);
  • багатопотокове завантаження – одночасний парсинг декількох джерел.

Переваги роботи з програмою

  • широко масштабований, постійно оновлюваний програмний комплекс, який дозволяє вирішити найрізноманітніші завдання;
  • налаштування програми можливе під будь-який веб-ресурс для отримання необхідної інформації із зведенням потрібних даних в таблицю;
  • запуск парсеру користувачем в будь-який час необмежену кількість разів для отримання актуальної інформації.

Зазначене вище дозволяє отримати необхідні дані в стислі терміни за доступною ціною.

Вартість ліцензії та додаткових робочих місць

  • Вартість вічної ліцензії на 2 комп’ютери 2700 р.
  • Вартість додаткового робочого місця 600 р.
  • Всі оновлення програми безкоштовні. Таким чином Ви платите за програму один раз і назавжди

Макроси для Excel https://excelvba.ru/

Сайт обіцяє прискорити і спростити вашу роботу за допомогою макросів: «Всього лише одне натискання кнопки, і Excel сам виконає за вас всю роботу!»

На сайті ви можете:

  • замовити макрос (програму) для Microsoft Excel;
  • знайти безліч готових макросів;
  • завантажити готовий парсер сайту або замовити налаштування парсера.

До переваг даного рішення для моніторингу цін відносяться:

  • одноразова оплата (але при цьому платите за налаштування кожного сайту);
  • обробка будь-якого обсягу інформації: моніторинг необмеженої кількості сайтів і товарів.
  • Вартість залежить тільки від кількості сайтів, але посилання ви шукаєте самі. Тому кількість товарів на ціну не впливає.
  • За додаткову плату можна налаштувати парсер під індивідуальні завдання. Наприклад, вивести наявність і ціну до акції в додаткові стовпці поруч з ціною.
  • Вся інформація зберігається і оновлюється в файлі Excel на вашому комп’ютері.
  • Можливо оновлення цін за вашим бажанням (можна оновити ціни по одному магазину, за всіма відразу або тільки по виділених).
  • Легко додавати нові товари – досить вставити посилання на сторінку товару в кінець таблиці.
  • За окрему плату на окремому аркуші ведеться архів.

Вартість.

Безстрокова ліцензія: 2700 руб. на 2 робочих місця (+ 600 руб. за кожне робоче місце понад два).

Налаштування.

  • 500 руб. за 1 сайт, якщо беруться тільки ціни по посиланнях.
  • від 700 руб. за 1 сайт, якщо потрібно виведення додаткової інформації: наявність, знижки або вибір регіону.

5.2.2. Написання власного парсеру

Замовити послугу написання парсеру можна різними способами. Один з них – скористатися послугами фрілансерів. На будь-якій біржі ви знайдете велику пропозицію фахівців.

https://freelancehunt.com/project/napisat-parser-dlya-polucheniya-dannyih/468443.html

https://kwork.ru/land/parser-na-python

Можна, також, звернутися в компанії, які регулярно займаються написанням парсеров.

https://iparser.ru/

5.2.3. Проблеми самостійного парсинга

5.2.3.1. Чому захищаються інтернет-магазини?

Моніторинг цін партнерів і конкурентів при швидкій зміні кон’юнктури на ринку може стати своєрідною страховкою, захистом від більшості несподіванок з цінами. При цьому, важливо розуміти, що будь-який інтернет-магазин або маркетплейс намагається вберегти свою цінову стратегію від будь-яких конкурентів, тому якісний парсинг цін іноді стає дуже складним завданням.

При автоматичному зборі цін конкурентами на сервера, які відповідають за працездатність інтернет-сайтів та інтернет-магазинів, здійснюється велике додаткове навантаження. Це призводить до уповільнення їх роботи, нарікань з боку хостинг провайдерів, а може призвести і до повної непрацездатності сайту. Також всі інтернет-продавці хочуть захистити свій бізнес від автоматичного збору своїх цін конкурентами. Їм вигідно мати найпривабливішу в очах покупців ціну, але не показувати їх конкурентам.

5.2.3.2. Механізми захисту від парсинга і алгоритми боротьби з ними.

Для захисту своїх цін власники сайтів інтернет-магазинів намагаються побудувати комплексний захист від «парсинга» і «граббінг». Для цього використовують різні алгоритми, покликані виявити і блокувати спамерських пошукових роботів.

Ті, хто займаються побудовою систем захисту, намагаються зробити її складною. Для її обходу розробникам парсерів необхідно мати високу кваліфікацію і досвід боротьби з цими захистами.

Першим механізмом захисту від парсинга цін служить динамічна видача контенту через так звані AJAX-запити. Це відбувається, коли веб-сервер у відповідь на стандартний GET-запит спочатку віддає «каркас» html-сторінки без даних, а потім відпрацьовує додатковий динамічний POST-запит, який саме і отримує прайс-лист з цінами і виводить його на сторінці. Такий захист ефективний тільки тоді, коли для збору цін з сайту використовується  парсер цін не «заточений» під парсинг саме цього сайту і він обходить всі сайти підряд з одним налаштуванням для всіх. Цей захист можна обійти шляхом індивідуального налаштування парсинга цін саме на цьому сайті, або написанням окремого парсеру для цього конкретного сайту.

Другою можливістю захисту від парсинга є перевірка заголовків http-запитів. У цьому випадку перевіряється наявність і правильне заповнення рядка User-Agent і інших параметрів, які обов’язково повинні бути присутніми в заголовку запиту, який виробляє будь-який браузер, якщо працює людина. Рядок User-Agent обов’язково заповнюється усіма браузерами і в ньому зазвичай прописується його назва і поточна версія. Таким чином браузер дає зрозуміти веб-серверу, хто він є такий при запиті даних. Додатково до перевірок обов’язкових параметрів можуть перевірятися так звані «cookies» на предмет наявності специфічних «cookies» (фрагментів даних обміну браузера користувача з веб-сервером), що залишаються лічильниками систем веб-аналітики на кшталт Яндекс Метрики або Google Analytics. Якщо сервер інтернет-магазину бачить, що цих «фрагментів» немає, захист буде вважати, що запит виконується не браузером, а автоматичним парсером цін. Якщо це станеться, запит буде відхилено, а IP адресу користувача заблоковано. Для подолання цього захисту потрібно навчити парсер цін маскуватися під будь-якої поширений браузер і дати йому можливість емулювати наявність будь-яких «cookies» в своїх запитах до інтернет-ресурсів.

Третьою практикою, якою часто для захисту від парсинга цін, є обмеження максимальної кількості запитів з однієї IP-адреси за певний час. Це дає можливість не допустити так званий «hammering», іншими словами «обстріл» інтернет-ресурсу великою кількістю запитів в одиницю часу. При виявленні IP-адреси, з якого йде такий «обстріл», сервер блокує йому можливість подальшої роботи з собою. Для обходу цього захисту, грамотні розробники онлайн парсерів цін використовують велику кількість проксі (проміжних комп’ютерів, які є прокладками між сервером користувача і інтернетом). Можна використовувати ті, які безкоштовно знаходяться у відкритому доступі у вигляді окремих списків, можна вдатися до допомоги спеціалізованих сервісів за певну плату. Ці платні сервіси надають можливість залишитися в інтернеті інкогніто. Вони регулярно проводять парсинг інтернет-простору для пошуку відкритих портів і надають виявлені проксі в закритий доступ за передплатою. Онлайн парсер в роботі буде використовувати власні проксі і свіжі списки, що безперервно надходять від сервісу. Так він зможе постійно маскуватися під все нові і нові IP-адреси і якісно моніторити ціни з інтернет-ресурсів.

Четвертим способом захисту від парсинга цін з сайтів, що значно ускладнює життя авторам мережевих павуків, є створення динамічної структури html-сторінки із «засміченням» елементів і «підмішуванням» на сторінку випадкових javascript запитів. У разі «засмічення» елементів динамічне формування html-сторінки не дає павуку прив’язатися до жорстко заданої структури елементів, тому що найчастіше при парсінгу цін з сайту необхідно спиратися на якусь логіку розташування html-елементів сторінки. Якщо йде «підмішування» на сторінку рандомних скриптів, є проблема в тому, щоб за допомогою парсера цін зуміти виконати випадковий скрипт на мові javascript і передати отримане значення через динамічний POST-запит для отримання зібраних з сайту цін. Для звичайного браузера цей алгоритм дій не викличе жодних проблем. Для багатьох самописних парсерів цін, які не вміють виконувати код на мові javascript, це буде практично не реально. Для обходу цього захисту можна використовувати технології, які дають можливість парсеру цін використовувати «движок» javascript (PhantomJS / CasperJS і т.д.) для виконання скриптів.  На жаль, ці «движки» мають ряд обмежень. Вони працюють досить повільно, мають проблеми у разі парсингу цін в кілька потоків і іноді не можуть коректно виконувати складні конструкції випадкового коду.

П’ятим можливим способом захисту від моніторингу цін роботами може стати вбудовування в html-сторінку «пасток» у вигляді прихованих полів. Ці поля не можуть бути заповнені людиною, але часто заповнюються парсером.

Шостим способом можуть стати методи захисту з фіксацією дій, вироблених користувачем на сайті. Таких, як визначення руху миші, прокрутка сторінки і наведення курсору на елементи, таймаут заповнення полів і т.д.

З нашої практики ми з’ясували, що немає такого захисту від парсинга цін, яку неможливо «зламати». Наведені вище способи захисту і їх комбінація, вигадувані нові засоби, можуть додати «сивого волосся» розробникам парсерів цін, але не створять непереборних бар’єрів. Кожен професійний сервіс онлайн моніторингу цін конкурентів вміє зібрати коректні дані.

5.3. Хмарні сервіси парсинга цін

На початковому етапі розвитку нашого сервісу самі ми регулярно користувалися послугами парсеру цін, що надаються компанією Datacol.

http://web-data-extractor.net/parser-internet-magazina/

Основні переваги парсеру інтернет-магазинів на базі Datacol це:

  1. можливість протестувати парсер інтернет-магазинів перед покупкою. Тестування займає не більше 5 хвилин.
  2. можливість додаткового налаштування парсинга інтернет-магазинів конкретно під ваші потреби (користувачем або фахівцями Datacol на платній основі).
  3. можливість перекладати та унікалізувати зібрані дані, а також експортувати в різні формати і CMS.

Вартість

Парсери Datacol легко налаштовуються і підходять для більшості завдань моніторингу цін онлайн.

Allrival

Це парсер сайтів, що пропонує і парсинг цін конкурентів.

Відстеження цін відбувається за такою схемою:

  • ви надаєте посилання на сайти-конкурентів, у яких є такі ж товари, що і у вас (також це можуть бути прайси);
  • парсер збирає інформацію про товари на цих сайтах (в тому числі і ціну);

Переваги:

  • автоматичне співставлення товарів;
  • обходження капчі;
  • наявність API для більш складних інтеграцій з сайтом;
  • безкоштовне підключення;
  • наявність повідомлень при зміні цін.

Недоліки:

  • необхідність розробки індивідуальних алгоритмів під кожен кейс;
  • неточність роботи алгоритмів з автоматичного порівнянні товарів;
  • незручності в порівнянні та аналізі даних по конкурентах.

Вартість використання від 3000 до 20 000 рублів на місяць.

https://a-parser.com/

Можливості проекту:

  • висока продуктивність – більше 10 000 потоків паралельно;
  • низькі вимоги до ресурсів комп’ютера;
  • можливі промислові масштаби: клієнт може задавати мільярди запитів і отримувати терабайти даних;
  • автономність. Система дозволяє призначити завдання на кілька місяців вперед;
  • можливість створення власних парсерів.
  • гнучкі налаштування для фільтрації, користувач сам може створювати нові параметри;
  • підтримка SOCKS5, HTTP, HTTPS, асинхронна робота з мережею;
  • API для інтеграції парсеру і управління ним за допомогою власних скриптів і програм;
  • постійна модернізація проекту;
  • технічна підтримка і консультації;
  • мережеве адміністрування.

5.4. Спеціалізовані інтернет-сервіси моніторингу цін

Кожному інтернет-магазину з асортиментом більш ніж 1000 товарів і діяльністю в умовах швидко мінливого ринку моніторинг цін обов’язковий щодня, а краще кілька разів на день. Маркетологи даних ресурсів не можуть охопити ціни всього товарного ряду магазину без хорошого сервісу онлайн-моніторингу. Більшості інтернет-постачальників теж важливо знати ціни на свої товари на різних інтернет-ресурсах. Якщо майданчиків, що продають товари постачальника більше десятка, фахівець з моніторингу цін буде витрачати більше свого часу на збір даних, а не на їх аналіз і прийняття рішень.

Сервіс моніторингу цін конкурентів – це SaaS рішення для 100% автоматизації всіх процесів контролю за цінами конкурентів для інтернет-постачальників і інтернет-магазинів. Він дозволяє знайти всіх конкурентів, вибрати найважливіших з них, зібрати ціни їх товарних пропозицій, відкоригувати ціни на свої товари відповідно до власної стратегії ціноутворення і ринкової ситуації.

В Україні працюють кілька сервісів, що пропонують автоматизований онлайн моніторинг цін (online price monitoring). Вони можуть зробити моніторинг цін на сайтах ваших постачальників або конкурентів, моніторинг цін інтернет-магазинів і взагалі будь-який моніторинг цін в інтернеті на майданчиках будь-якої складності.

Сайт моніторингу цін – це будь-яка електронна майданчик, на якій знаходяться картки з товарами, їх фотографіями, описами, технічними характеристиками і цінами їх реалізації. Іноді на сайтах розміщують тільки прайс-листи з цінами і найменуваннями, а опису товарів можна знайти за посиланнями на інші сайти.
Використання спеціалізованих сервісів ви маєте наступні переваги.

Їх використання дає вам такі переваги:

  • можливість отримувати завжди актуальну і коректну інформацію про ціни конкурентів;
  • ви витратите менше часу на збір цін. Онлайн-сервіс сам виконає всю роботу і надасть вам вже зібрані дані;
  • вам буде видно всі цінові аномалії і відхилення;
  • інформація зібрана в зручні для аналізу звіти. В особистому кабінеті ви зможете бачити зміни цін в динаміці і аналізувати поведінку ваших партнерів і конкурентів;
  • Доступна синхронізація сервісів з вашого профілю системою через API.

https://www.pricecontrol.com.ua/

Як працює «Price control».

  • Знаходимо всі майданчики, які продають ваш товар в інтернеті.
  • Моніторимо ціни інтернет-магазинів, маркетплейсів, прайс-агрегаторів.
  • Інформуємо всіх операторів ринку про комерційну політику Вашої компанії.
  • Робимо контрольні закупівлі ваших товарів в інтернет-магазинах.
  • Знімаємо ваші бренди з майданчиків-порушників.
  • Збираємо ціни і наявність товарів у ваших конкурентів.

 

Зручний особистий кабінет

Якщо у вас є власна торгова марка і необхідність відстежувати ціни на ваші товари в інтернет-магазинах – наш сервіс підійде вам ідеально.

Ми робимо:

  • пошук товарів Вашого бренду в інтернеті;
  • парсинг цін на ці товари з усіх сайтів, що його продають;
  • боремося з порушниками прав інтелектуальної власності в інтернет-магазинах;
  • знімаємо Ваші товари з продажу на недобросовісних ресурсах (при необхідності);
  • участь в судових справах щодо захисту ваших торгових марок.

Результати моніторингу цін формуються в зручні звіти у форматі XLSX або можна подивитися дані в зручному особистому кабінеті. Співробітники сервісу самостійно виконують і індивідуальне налаштування парсингу під кожен нестандартний сайт, і зіставлення ваших товарів з асортиментом інтернет-магазину. Повірте на слово, це істотно заощадить ваш час.

Ми постійно працюємо над підвищенням якості даних моніторингу. Щомісяця проводимо повну актуалізацію всіх інтернет-магазинів у підписках клієнтів. Це робиться для усунення помилок і прогалин в даних, що збираються, викликаних регулярними змінами на сайтах інтернет-магазинів. Для розуміння повної картини цін на ринку ми збираємо ціни не тільки сайтах інтернет-магазинів, а й ціни на прайс-агрегаторах, маркетплейсах і рекламних майданчиках.

Подробиці про всі аспекти роботи нашого сервісу можна прочитати в статті нашого блогу .

http://pricehunter.com.ua/

Price Hunter пропонує таке:

  • моніторинг цін з вашого інтернет-магазину;
  • моніторинг цін в інтернет-магазинах конкурентів;
  • зіставлення товарів конкурентів з вашими товарами;
  • аналіз ваших закупівельних цін.

До своїх основних переваг Price Hunter відносить:

  • надання інструменту ціноутворення;
  • моніторинг не окремого списку товарів, а категорій інтернет-магазину конкурента в рамках заданих брендів;
  • інтеграцію сервісу практично без участі замовника;
  • особистий кабінет.

Сервіс не так давно активно вийшов на ринок. На односторінковому сайті немає жодного відгуку від клієнтів, що насторожує.

Цінова політика сайту не розкривається у відкритому доступі.

https://z-price.com/

Цей сервіс надає різні можливості для брендів і інтернет-магазинів. Для брендів – це стандартні послуги зі збирання цін, порівняно з РРЦ і розсилка листів порушникам. Історія зміни цін зберігається. Для інтернет-магазинів Z-PRICE збирає ціни конкурентів. Робить аналіз середньої ціни в інтернет-магазинах моніторингу.

Z-PRICE може також зібрати інформацію по акціях, знижках і подарункам. Моніторинг цін можна проводити за розкладом. Є можливість інтегрувати дані з сервісу в адмінпанель сайту клієнта, вивантажувати їх в різних форматах, а також налаштовувати стандартні і індивідуальні звіти. Сервіс працює досить давно. Деякі клієнти скаржаться на незрозумілу ціну моніторингу. Наприклад, виставляють тариф за моніторинг 300 сайтів конкурентів або покупців, а в звіти потрапляє мінімум 50 інтернет-магазинів, в яких немає аналізованого товару. Бувають приклади неякісного зіставлення товарів клієнтів і товарів на сайтах.

Ціни сервісу можна спробувати порахувати самостійно в калькуляторі, розміщеному на сайті.

https://pricecop.net/

Цей український сервіс також розрахований на компанії виробників і інтернет-магазини.

До плюсів цього сервісу можна віднести:

  • різні звіти з можливістю фільтрації даних;
  • можливість управління номенклатурою моніторингу цін;
  • збереження історії зміни цін;
  • можливість побудови графіків;
  • наявність API інтеграції;
  • розсилку автоматичних повідомлень.

Про мінуси PriceCop можна сказати таке:

    • при тривалій роботі з моніторингу цін регулярно випадають багато інтернет-магазинів і часто, без нагадування з боку клієнта, в моніторинг не повертаються;
    • особистий кабінет не можна побачити до початку користування сервісом і він не дуже зручний для користування;
    • для отримання прайсу на моніторинг цін необхідно зв’язуватися з співробітниками компанії.

https://competera.ru/

Competera позиціонує себе як хмарна платформа ціноутворення для офлайн і онлайн продавців. Вони заявляють не просто про відстеження цін, а про наявність серйозного функціонала для прийняття цінових рішень.

Competera не пропонує готове рішення для клієнта. Вони індивідуально підлаштовують свій сервіс під кожного клієнта. Це було б плюсом, якби це було просто, швидко і доступно. Але це не так. Саме тому Competera працює тільки з великими продавцями національних масштабів, які можуть собі дозволити оплатити вартість її послуг.

При використанні платформи Competera обіцяє такі вигоди:

  • збір цін із зазначених вами сайтів (до 3-х);
  • конкурентна аналітика;
  • ціноутворення на основі попиту;
  • ціноутворення на основі штучного інтелекту.

 До недоліків сервісу можна віднести:

  • кусючі ціни – продавець при першому ж контакті запитує, чи готові ви до ціннику від 1000 $ США.
  • строгі вимоги до наданої клієнтом інформації. Вони вимагають дані з продажу за кілька останніх періодів, ціни продажу товарів за цей час.

5.5. Обзвон конкурентів – обов’язкове доповнення до будь-якого методу онлайн моніторингу цін.

За актуальність інформації відповідає частота збору цін, за достовірність – техніка збору і вміння обходити захист від парсинга. За «глибину» аналізу цін може відповісти телефонний збір цін конкурентів. Він є найбільш трудомістким, але і найефективнішим методом (в плані виявлення прихованих фішок). Для його проведення буде необхідно задіяти штат співробітників вашої компанії, озброєних телефонами. Всі оператори ринку намагаються захистити свої реальні ціни від конкурентів, але вони не можуть приховувати їх від “реальних клієнтів”.

Обзвон конкурентів дає інформацію про нестандартні дані, не зазначені на сайтах компаній:

  • знижки в залежності від розміру замовлення;
  • наявність товару і складські запаси;
  • швидкість доставки;
  • додаткові бонуси і умови їх отримання.

“Реальний покупець” повинен демонструвати серйозний інтерес до придбання товарів конкурента. Він може імітувати підкупливу некомпетентність і провокувати продавця видати йому всю інформацію, надіслати актуальні ціни, видати реальний складський залишок, коли буде наступна поставка, розповісти про діючу систему знижок. Звичайно, ці методи добре відомі і персоналу ваших конкурентів. Вони самі роблять таку «розвідку», тому ви можете напоротися на серйозну протидію з їхнього боку.

Ось кілька порад для підготовки:

  • не використовуйте професійну термінологію. Досвідчений продавець може зрозуміти, що «реальний покупець» вже дуже добре розбирається в темі і визначити дзвінок конкурента;
  • визначте ще до дзвінка, які контактні дані ви дасте продавцеві для зворотного зв’язку на замовлення («свіжий» номер телефону, не корпоративну електронну адресу);
  • придумайте правдоподібну легенду і можливі відповіді на питання (ваше ПІБ, де ваш об’єкт, куди доставити товар, як терміново потрібна поставка, заберете самі або потрібна доставка).

Конкурентна розвідка – справа не проста. Для її проведення потрібні добре підготовлені персонал, що регулярно оновлюється (продавець конкурентів буде вкрай здивований, якщо щотижня один і той же «реальний покупець» стане випитувати у нього найпотаємніші дані про ціни і знижки). Вона займає багато часу вашого персоналу і варта вам чимало грошей, але гра «варта свічок». Ви зможете побудувати гнучку цінову стратегію і грамотну торговельну політику, засновану на даних конкурентної розвідки. Це допоможе збільшити прибуток і розширити клієнтську базу вашої компанії. Моніторинг цін конкурентів в телефонному режимі один з необхідних елементів вашої повсякденної роботи.

5.6. Збір цін з прайс-листів постачальників

Ще одне з можливих застосувань автоматизованого моніторингу цін – це збір цін з прайс-листів постачальників. Навіть у самого невеликого інтернет-магазину зазвичай сотні каналів надходження продукції. Часто один і той же товар своєї номенклатури магазин може закупити у кількох конкуруючих між собою дистриб’юторів. Кожен з них має власну стратегію ціноутворення, акційну політику, глибину складу. Для інтернет-магазину максимально вигідно купувати товар за мінімальною ціною, і бути впевненим в постачанні. Для досягнення цієї мети вони змушені щодня моніторити прайси всіх своїх постачальників, порівнювати їх ціни, вибирати найкращу пропозицію. Без автоматизації прайс моніторингу товарознавці не зможуть забезпечити свій магазин товаром за найвигіднішими цінами.

Мало просто зібрати прайси постачальників, необхідно зіставити їх номенклатуру, звести весь моніторинг в зручний для аналізу формат, створити алгоритм вибору кращої ціни, перевірити наявність товару у постачальника. Тільки після всього цього можна вважати моніторинг цін постачальників закінченим.

Таке завдання не “по зубах» самописним парсерам цін. Важко знайти і хмарні парсери, які з нею впораються. Наш проект Price control вирішив цю задачу для багатьох клієнтів. Є досвід і достатньо інструментів.

6. Юридичні аспекти і складності моніторингу цін

Чи є автоматичний моніторинг цін на сайтах законним? Парсинг цін інтернет-магазинів буде законним, якщо в процесі моніторингу цін не відбувається порушення законодавства. За чинним законодавством України, парсинг проводиться на законних підставах, якщо в процесі збору цін в інтернеті:

  • не порушуються авторські і суміжні права;
  • не здійснюється неправомірний доступ до охоронюваної законом інформації;
  • не виконується збір відомостей і даних, що становлять комерційну таємницю.

Проаналізувавши справжні законодавчі норми і правила, можна стверджувати, що будь-яка форма автоматичного збору інформації про ціни дозволена в тому випадку, якщо той, хто цим займається, дотримується наступних правил:

  • контент, який збирається за допомогою парсинга, не є об’єктом захисту авторського права;
  • процес парсинга не порушує роботу сайту і не перетворюється в DDOS-атаку;
  • при отриманні інформації не збираються ніякі особисті дані користувачів.

Іноді зустрічається протиріччя з приводу пункту про порушення роботи сайту в результаті підвищеного навантаження на нього з-за дій ресурсів, які здійснюють автоматичний збір даних. Довести, що конкретний парсинг порушує роботу сайту досить складно. У відповідь можна послатися на дії будь-яких пошукових систем. Вони регулярно роблять те ж саме в значно більшому обсязі. Пошукові системи займаються збором всього контенту сайту. Будь-яка з них збирає не тільки ціни, каталоги і деякі сторінки товарів, а всі форми текстового контенту, такі як блог компанії, контактна інформація і т.д. Онлайн парсер цін працює вузьконаправлено на збір інформації у вигляді цін, а пошукові системи збирають повністю все.

7. Висновки та рекомендації

Від чого залежить реальна вартість моніторингу цін? Вона залежить від декількох факторів.

Перший: наскільки повно і якісно виконана вся процедура моніторингу цін, від пошуку майданчиків для моніторингу до регулярного збору всіх даних, що цікавлять компанію (ціни, наявність, акції, знижки, безкоштовна доставка).

Другий: формування результатів моніторингу цін. Звичайно, є різниця у вартості між звичайною таблицею моніторингу цін, яку бачить клієнт по результату у себе на пошті і особистим кабінетом, в якому можна переглянути зміни цін за тиждень або за місяць по кожній позиції в розрізі кожного магазину.

Стандартна таблиця моніторингу цін

Представлення даних в особистому кабінеті.

Третій: реальна автоматизація моніторингу цін. Чи повинен клієнт самостійно робити зіставлення? Як часто і в якому обсязі він може змінювати номенклатуру і список конкурентів для цінового моніторингу? Чи є можливість задавати розклад моніторингу і робити розсилку інформації зацікавленим особам?

Я не претендую на повну об’єктивність і знання «істини в останній інстанції». Щодня протягом вже більше п’яти років ми займаємося моніторингом і контролем цін для вже без малого сотні клієнтів нашого проекту «Прайс Контроль» як на Україні, так і за її межами. Співробітники нашого проекту збирають щодня сотні тисяч цін з декількох десятків тисяч інтернет-магазинів, маркетплейсів, прайс-агрегаторів, рекламних майданчиків. За цей час ми зіткнулися з усіма описаними в статті проблемами і по черзі перепробували майже всі способи збору цін.

Вважаю, що найзручніший спосіб регулярного моніторингу цін клієнтів і конкурентів полягає у використанні спеціалізованих сервісів. Тільки вони до кінця дозволять автоматизувати процес збору та аналізу цін, дозволять заощадити багато часу і грошей для вашої компанії. Вибір сервісів великий, кожен з них має свої переваги і недоліки.Будемо щиро раді, якщо Ви зупините свій вибір на нашому сервісі. https://www.pricecontrol.com.ua/kontaktyi/

Хочете дізнатися докладніше або отримати консультацію? Зв’яжіться з нами!

1 Comment

  1. Alina

    Прочитавши статтю зрозуміла, що про моніторинг цін в інтернеті знаю вкрай мало. А ще менше, що саме далі робити з даними і впроваджувати в бізнес-процеси компанії. Як наш магазин взгалі щось продає – велика загадка и суцільне везіння

    Reply

Submit a Comment

Your email address will not be published. Required fields are marked *

5 × 3 =

5/5 - (19 votes)