Веб-скрепінг
Збір даних із публічних сайтів і API за розкладом: законно, делікатно й під наглядом.
soge.dk: дані про данські компанії й авто
Шукаєте дані CVR про компанії чи інформацію про данські автомобілі? Перш ніж хтось візьметься їх скрейпити, загляньте на soge.dk — наш власний пошук і API для компаній та транспорту в Данії.
Вам потрібні дані з чужих сайтів: каталоги товарів, ціни конкурентів, публічні реєстри, події. Копіювати вручну не масштабується, а швидкий скрипт зазвичай працює кілька тижнів, після чого мовчки повертає порожнечу, бо сайт змінив верстку. Найважче у скрейпінгу не перший запуск, а сотий.
Ми робимо збирачі, які працюють за розкладом і повідомляють, коли перестають працювати. Спершу перевіряємо, чи скрейпінг узагалі потрібен: багато сайтів мають офіційне API, sitemap, товарний фід або структуровані дані всередині сторінки. Якщо сторінку все ж треба завантажувати, починаємо зі звичайного HTTP, а справжній браузер беремо лише там, де сайт цього вимагає. Запити дозуються й розподіляються в часі, а проксі використовуємо, щоб розподілити навантаження, а не щоб засипати сайт запитами. Ще до першого запиту ми разом із вами розбираємо юридичний бік: що це за дані, чи є серед них персональні і на якій підставі, умови сайту й robots.txt, а також права на базу даних у джерелі.
Для Møbler Samling (msdf.dk), сервісу зі збирання меблів, ми перетворили каталоги IKEA і JYSK на 5 937 сторінок товарів і 589 категорій, де кожна показує ціну збирання саме цього виробу. Завдяки публічному пошуковому API та sitemap IKEA скрейпити HTML не довелося; у JYSK ми читали структуровані дані товару, вбудовані в кожну сторінку. Під час підготовки оновлення пробний прогін показав 5 829 товарів як вилучені. Це була помилка: IKEA змінила схему ідентифікаторів товарів. Якби ми діяли за тим списком, то видалили б живі проіндексовані сторінки, тому кожна зміна з нового запуску спершу проходить пробний прогін.
Інші збирачі, які ми ведемо: дані данських компаній з офіційного розповсюдження CVR для uahub.dk, де джерело відхиляє scroll-запити, тож ми гортаємо його за номером CVR; проєкт з даними американських автоаукціонів, що відстежує сотні тисяч лотів і ставки в реальному часі; і стрічка подій Копенгагена, де для кожного джерела збережено відбиток його структури, тож джерело, яке раптом повертає нуль подій або втрачає координати, викликає тривогу, а не тихий нуль.
Збір даних коштує від 2 000 DKK. Ціна залежить від кількості джерел, того, як вони захищені, як часто їх треба оновлювати і чи потрібно очищати дані й завантажувати їх у базу. В експлуатації потрібен невеликий сервер, а для деяких джерел ще й підписка на проксі. Скрейпінг не найкращий вибір, коли власник продає доступне API чи ліцензію на дані, бо купити тоді дешевше й безпечніше, або коли йдеться про персональні дані, для обробки яких у вас немає підстави.
Ключові можливості
Спершу джерело, потім код
Для кожного джерела шукаємо офіційне API, фід, sitemap або JSON-LD, перш ніж писати скрейпер. Так швидше, ламається рідше й менше навантажує сайт.
Спершу HTTP, браузер за потреби
Звичайні HTTP-запити справляються з більшістю сторінок. Справжній браузер, Playwright або stealth-браузер через Scrapling, беремо лише для сторінок, які без JavaScript не прочитати.
Щадна частота запитів
Запити дозуються, повторюються зі зростаючою паузою й плануються поза годинами пік сайту. Якщо сайт чітко каже ні, ми зупиняємося й шукаємо інший шлях, а не посилюємо тиск.
Виявлення поломок
Кожен запуск записує, який шлях розбору спрацював і наскільки повні записи. Нуль результатів, зниклі поля чи нова верстка дають тривогу того ж дня.
Чисті дані без дублікатів
Записи перевіряються, очищуються від дублікатів і передаються в CSV, JSON або прямо у вашу базу, з URL джерела й часом збору в кожному рядку.
Пробний прогін перед змінами
Перш ніж дані з нового запуску щось змінять на вашому сайті чи у ваших системах, ви бачите перелік змін, а підозрілі цифри перевіряються вручну.
Чому варто обрати цю послугу
Збирачі працюють за розкладом, тож ціни й каталоги оновлюються без ручного копіювання.
Джерело, що мовчки зламалося, дає тривогу, а не заповнює звіти нулями.
Умови сайту, персональні дані й права на бази перевіряємо до першого запиту, а не після скарги.
Ви отримуєте структуровані перевірені рядки, а не сирий HTML, який треба чистити самим.
Як ми працюємо
Наш перевірений процес гарантує якість на кожному етапі
Огляд джерел
Складаємо перелік джерел, шукаємо API й фіди, читаємо умови й вручну перевіряємо кілька сторінок. Ви отримуєте коротку записку про здійсненність і юридичні моменти.
Прототип на зразку
Збирач для одного джерела працює на невеликому зразку, і ми порівнюємо результат із живим сайтом поле за полем, перш ніж робити решту.
Масштабування й розклад
Додаємо всі джерела з обмеженням частоти, повторними спробами й проксі лише там, де це виправдано. Запуски плануємо на години, зручні і вам, і джерелу.
Нагляд і підтримка
Відбитки структури, перевірки повноти й сповіщення запускаються разом зі збирачем із першого дня. Виправлення після редизайну сайту-джерела можна покрити супроводом проєкту.
Часті запитання
Чи законний веб-скрейпінг у Данії?
Збір публічно доступних даних часто законний, але не завжди. Усе залежить від того, чи є серед них персональні дані і на якій правовій підставі, від умов сайту й від прав на базу даних у джерелі. Ми розбираємо це з вами ще до розробки, а якщо відповідь негативна, пропонуємо альтернативи, як-от офіційне API чи ліцензію на дані.
А як щодо сайтів із захистом від ботів?
Спершу шукаємо м'якший шлях: API, фід, sitemap чи структуровані дані. Якщо браузер таки потрібен, використовуємо його й тримаємо низьку частоту запитів. Ми не розв'язуємо CAPTCHA від вашого імені й не збираємо вміст за логіном, яким ви не маєте права користуватися.
Як ви дізнаєтеся, що збирач перестав працювати?
Кожен запуск зберігає відбиток: скільки записів повернулося, які поля заповнені і який шлях розбору спрацював. Якщо ці показники різко змінюються, надходить сповіщення. Базову лінію оновлюємо лише після вдалого запуску, тож зламане джерело не зможе видати нуль за норму. Сповіщення отримуєте і ви, і ми.
Чи можете ви передавати дані прямо в нашу систему?
Так. Ми передаємо файли CSV чи JSON, надсилаємо записи в API або завантажуємо їх у базу з контролем дублікатів та історією змін кожного запису. Завантаження даних у ваш магазин чи CRM часто поєднується з невеликою інтеграцією, яку ми оцінюємо окремо.
Чи потрібні нам проксі?
Для більшості джерел ні. Проксі допомагають, коли сайт обмежує кількість запитів з однієї IP-адреси або показує різний вміст залежно від країни. Якщо вони потрібні, підписка на проксі входить у вартість експлуатації, яку ми вказуємо в пропозиції, тож перший рахунок без сюрпризів.
Готові перейти через міст?
Давайте побудуємо ваш блискавичний міст до цифрової трансформації. Від першої консультації до розгортання — ми рухаємося швидко.