📊

Веб-скрепінг

Збір даних із публічних сайтів і API за розкладом: законно, делікатно й під наглядом.

Наш власний продукт

soge.dk: дані про данські компанії й авто

Шукаєте дані CVR про компанії чи інформацію про данські автомобілі? Перш ніж хтось візьметься їх скрейпити, загляньте на soge.dk — наш власний пошук і API для компаній та транспорту в Данії.

Вам потрібні дані з чужих сайтів: каталоги товарів, ціни конкурентів, публічні реєстри, події. Копіювати вручну не масштабується, а швидкий скрипт зазвичай працює кілька тижнів, після чого мовчки повертає порожнечу, бо сайт змінив верстку. Найважче у скрейпінгу не перший запуск, а сотий.

Ми робимо збирачі, які працюють за розкладом і повідомляють, коли перестають працювати. Спершу перевіряємо, чи скрейпінг узагалі потрібен: багато сайтів мають офіційне API, sitemap, товарний фід або структуровані дані всередині сторінки. Якщо сторінку все ж треба завантажувати, починаємо зі звичайного HTTP, а справжній браузер беремо лише там, де сайт цього вимагає. Запити дозуються й розподіляються в часі, а проксі використовуємо, щоб розподілити навантаження, а не щоб засипати сайт запитами. Ще до першого запиту ми разом із вами розбираємо юридичний бік: що це за дані, чи є серед них персональні і на якій підставі, умови сайту й robots.txt, а також права на базу даних у джерелі.

Для Møbler Samling (msdf.dk), сервісу зі збирання меблів, ми перетворили каталоги IKEA і JYSK на 5 937 сторінок товарів і 589 категорій, де кожна показує ціну збирання саме цього виробу. Завдяки публічному пошуковому API та sitemap IKEA скрейпити HTML не довелося; у JYSK ми читали структуровані дані товару, вбудовані в кожну сторінку. Під час підготовки оновлення пробний прогін показав 5 829 товарів як вилучені. Це була помилка: IKEA змінила схему ідентифікаторів товарів. Якби ми діяли за тим списком, то видалили б живі проіндексовані сторінки, тому кожна зміна з нового запуску спершу проходить пробний прогін.

Інші збирачі, які ми ведемо: дані данських компаній з офіційного розповсюдження CVR для uahub.dk, де джерело відхиляє scroll-запити, тож ми гортаємо його за номером CVR; проєкт з даними американських автоаукціонів, що відстежує сотні тисяч лотів і ставки в реальному часі; і стрічка подій Копенгагена, де для кожного джерела збережено відбиток його структури, тож джерело, яке раптом повертає нуль подій або втрачає координати, викликає тривогу, а не тихий нуль.

Збір даних коштує від 2 000 DKK. Ціна залежить від кількості джерел, того, як вони захищені, як часто їх треба оновлювати і чи потрібно очищати дані й завантажувати їх у базу. В експлуатації потрібен невеликий сервер, а для деяких джерел ще й підписка на проксі. Скрейпінг не найкращий вибір, коли власник продає доступне API чи ліцензію на дані, бо купити тоді дешевше й безпечніше, або коли йдеться про персональні дані, для обробки яких у вас немає підстави.

Ключові можливості

Спершу джерело, потім код

Для кожного джерела шукаємо офіційне API, фід, sitemap або JSON-LD, перш ніж писати скрейпер. Так швидше, ламається рідше й менше навантажує сайт.

Спершу HTTP, браузер за потреби

Звичайні HTTP-запити справляються з більшістю сторінок. Справжній браузер, Playwright або stealth-браузер через Scrapling, беремо лише для сторінок, які без JavaScript не прочитати.

Щадна частота запитів

Запити дозуються, повторюються зі зростаючою паузою й плануються поза годинами пік сайту. Якщо сайт чітко каже ні, ми зупиняємося й шукаємо інший шлях, а не посилюємо тиск.

Виявлення поломок

Кожен запуск записує, який шлях розбору спрацював і наскільки повні записи. Нуль результатів, зниклі поля чи нова верстка дають тривогу того ж дня.

Чисті дані без дублікатів

Записи перевіряються, очищуються від дублікатів і передаються в CSV, JSON або прямо у вашу базу, з URL джерела й часом збору в кожному рядку.

Пробний прогін перед змінами

Перш ніж дані з нового запуску щось змінять на вашому сайті чи у ваших системах, ви бачите перелік змін, а підозрілі цифри перевіряються вручну.

Чому варто обрати цю послугу

⚡
Дані, що лишаються актуальними

Збирачі працюють за розкладом, тож ціни й каталоги оновлюються без ручного копіювання.

⚡
Поломку видно протягом доби

Джерело, що мовчки зламалося, дає тривогу, а не заповнює звіти нулями.

⚡
Менше юридичних здогадок

Умови сайту, персональні дані й права на бази перевіряємо до першого запиту, а не після скарги.

⚡
Дані, готові до роботи

Ви отримуєте структуровані перевірені рядки, а не сирий HTML, який треба чистити самим.

Як ми працюємо

Наш перевірений процес гарантує якість на кожному етапі

1

Огляд джерел

Складаємо перелік джерел, шукаємо API й фіди, читаємо умови й вручну перевіряємо кілька сторінок. Ви отримуєте коротку записку про здійсненність і юридичні моменти.

2

Прототип на зразку

Збирач для одного джерела працює на невеликому зразку, і ми порівнюємо результат із живим сайтом поле за полем, перш ніж робити решту.

3

Масштабування й розклад

Додаємо всі джерела з обмеженням частоти, повторними спробами й проксі лише там, де це виправдано. Запуски плануємо на години, зручні і вам, і джерелу.

4

Нагляд і підтримка

Відбитки структури, перевірки повноти й сповіщення запускаються разом зі збирачем із першого дня. Виправлення після редизайну сайту-джерела можна покрити супроводом проєкту.

Часті запитання

Чи законний веб-скрейпінг у Данії?

Збір публічно доступних даних часто законний, але не завжди. Усе залежить від того, чи є серед них персональні дані і на якій правовій підставі, від умов сайту й від прав на базу даних у джерелі. Ми розбираємо це з вами ще до розробки, а якщо відповідь негативна, пропонуємо альтернативи, як-от офіційне API чи ліцензію на дані.

А як щодо сайтів із захистом від ботів?

Спершу шукаємо м'якший шлях: API, фід, sitemap чи структуровані дані. Якщо браузер таки потрібен, використовуємо його й тримаємо низьку частоту запитів. Ми не розв'язуємо CAPTCHA від вашого імені й не збираємо вміст за логіном, яким ви не маєте права користуватися.

Як ви дізнаєтеся, що збирач перестав працювати?

Кожен запуск зберігає відбиток: скільки записів повернулося, які поля заповнені і який шлях розбору спрацював. Якщо ці показники різко змінюються, надходить сповіщення. Базову лінію оновлюємо лише після вдалого запуску, тож зламане джерело не зможе видати нуль за норму. Сповіщення отримуєте і ви, і ми.

Чи можете ви передавати дані прямо в нашу систему?

Так. Ми передаємо файли CSV чи JSON, надсилаємо записи в API або завантажуємо їх у базу з контролем дублікатів та історією змін кожного запису. Завантаження даних у ваш магазин чи CRM часто поєднується з невеликою інтеграцією, яку ми оцінюємо окремо.

Чи потрібні нам проксі?

Для більшості джерел ні. Проксі допомагають, коли сайт обмежує кількість запитів з однієї IP-адреси або показує різний вміст залежно від країни. Якщо вони потрібні, підписка на проксі входить у вартість експлуатації, яку ми вказуємо в пропозиції, тож перший рахунок без сюрпризів.

Готові перейти через міст?

Давайте побудуємо ваш блискавичний міст до цифрової трансформації. Від першої консультації до розгортання — ми рухаємося швидко.