Встреча 18 июня 2021 - PetrovaDaria/software-glitches GitHub Wiki

Получить деньги на разметку на толоке. В настройках добавить, что давать задание лучшим 50% разметчиков. Уметь считать долю текстов, в которых все разметчики согласились на одной оценке.

Есть 6 тысяч нужных текстов. Добавить к ним еще 4 тысячи текстов, которые содержат software, но не проверяем на то, есть ли там glitch.

Разобраться в выходных данных разметки, которые уже имеются. Понять, как из них выделять статистику, которая нам требуется.

Если чего-то не хватает, попробовать запустить тестовые пулы с другими настройками, где минимально нужное количество заданий. И посмотреть на выходные данные там.

увеличить количество разметчиков на одно задание?

Если что писать Владу из Толоки.

Добавить задания с известным ответом и тем самым проверять иногда людей.