Описание - grabliapp/scripts GitHub Wiki

Сервис "грабли" grabli.app позволяет разработчикам собирать данные из любых источников информации, таких как например: форум, доска объявлений, социальная сеть, система аналитики, система подбора ключевых слов, поисковая система, мессенджер и др. Данные собираются посредством запуска скрипта на языке программирования Javascript как в браузере, так и в формате запуска по расписанию на стороне сервера. Собранные данные всегда доступны по API, либо могут быть получены по запросу в виде ссылки на файл в формате csv, которую можно получить на емайл адрес.

Рассмотрим бизнес кейс сбора подписчиков в социальной сети instagram. Социальная сеть instagram не предоставляет возможности получить необходимую информацию посредством API, но отображает данные в браузере. Расширение для браузере chrome позволяет запустить скрипт на языке Javascript со специальными внутренними командами веб-расширения, которые позволяют сохранять строки данных в необходимом формате с любых страниц, вне зависимости от CORS политик.

Таким образом любой разработчик может собирать данные, доступные в браузере пользователя, для маркетинговых и иных целей. Рассмотрим бизнес-кейс для получения данных обменного курса с ресурса центрального банка европы ecb. Основной ресурс банка предлагает получать обменные курсы только зайдя на страницу банка. Таким образом API не доступен. При помощи сервиса "грабли" можно написать скрипт на Javascript, который будет заходить на сайт, собирать информацию и записывать в интересующий конечного пользователя формат по расписанию. Через API, который предоставляет сервис “грабли” можно получать информацию в любом удобном формате - csv, json, и др.

Рассмотрим бизнес-кейс получения обновлений с новостных ресурсов. Скрипт в сервисе "грабли" может выполняется через определенный промежуток времени, что позволяет проверять интересующие ресурсы каждые 5 минут в автоматическом режиме. При появлении обновлений, можно послать уведомление, либо обновить базу данных новой информацией и получить обновление только в формате - заголовок, текста, ссылка. Без лишней разметки. При этом формат и весь процесс работы с новостными ресурсами может быть запрограммирован прямо из браузера. Всё остальное сделает сервис "грабли"

Сервис открывает для разработчиков безграничные модели для автоматизации. Начиная от сбора данных, обновления по расписанию, заканчивая заполнением форм и отправкой сообщений в социальных сетях.

Если необходимо масштабирование процесса, то на помощь придут операторы, которые с радостью помогут выполнить задание. Например, можно поручить им выполнить задачу классификации или сбора информации в ручном режиме, такой как выбор популярной, на их вкус, одежды, чтобы спрогнозировать будущий тренд на новый сезон и др.