Итоги альфа версии - achugr/GoodsReview GitHub Wiki

Итоги альфа-версии (14.11.11)

При подведении итогов альфа-версии мы осознали как много мы сделали и как много нового и полезного узнали! Наши лбы поломали сотни черенков грабель, в итоге мы научились находит фарватер! Работа продолжается

Вот некоторые технические детали:

  • Miner Сбор данных полностью ручной, при помощи webHarvest, который дергаем из java. В ходе работы над альфа-версией была извлечена и разобрана информация примерно о 600(там их больше нет, да и нам пока не нужно больше) ноутбуках с сайта ситилинк .Таким же образом можно собрать и распарсить очень много информации, но это муторно, будем переходить на более автоматизированные методы.

  • Backend Анализ собранной информации на момент альфа-версии был слаб. Мы просто использовали частотный словарь..Зато иногда получалось что "тезисы" шли в рифму, или встречались очень забавные сочетания, например "драйвера, шикарно" =) Есть над чем работать!

  • Indexer + Searcher Строится индекс базы данных, далее с ним работает серчер, давая возможность делать быстрый поиск по компоненте проиндексированного элемента.

  • Storage Разработана и реализована модель базы данных, соответствующая нашим целям. Написаны контроллеры для таблиц. Работает ОК =)

  • Frontend Создана оболочка сервиса, с которой взаимодействует пользователь. Поисковые запросы идут к бд через серчер, что делает их выполнение довольно быстрым. На страницах сайта отрисовывается разного рода информация о товарах. Дизайн должен быть более дружелюбным и концентрировать внимание на сути проекта

  • Core Собственно ядро сервиса, содержит стартовый класс, через который запускаются модули, содержит базовые модели данных и некоторые интерфейсы.