生产素材质量评估体系 - Buonriposo/KUAISHOU GitHub Wiki

整体结论

魔表素材供给的价值

  • 从生产的角度看,魔表素材供给为作者生产提供了更丰富的创作素材选择,降低了生产门槛,拉动作者生产
  • 从消费的角度看,素材类型的多样化能够用户提供更多可消费的内容,丰富平台作品,这部分作品可以促产和提升用户活跃性
  • 从用户活跃角度看,魔表作者的留存(次日留存)高于其他非魔表作者,消费魔表视频的用户留存(次日活跃留存率)表现更好

论证魔表素材的价值

  • 线性回归建模发现,消费魔表素材对用户周活跃存在正向影响
  • 线性回归建模发现,点击魔表素材对用户生产作品数存在正向影响

目前魔表质量评估体系存在的问题

  • 没有牵动生产大盘指标,爆款/优质素材数与作品数呈现不相关趋势
  • 仅考虑量,而忽略了效率等多方面的综合考量
  • 素材多样性下降

构建新的素材综合评估体系

针对 「生产、消费互动、带产、拉新回、生产留存」 五个维度,选取 「曝光发布率、新回作者占比、互动率XTR、带产率UTR、作者次日生产留存」 来量化素材的价值。建模:逻辑回归;最终选取阈值0.5,AUC81%,预测准确率72%,训练集准确率75%

有什么新的认知

  • 曝光发布率是评分体系的重要组成部分,其系数是其他系数的2~8倍
  • 效率高于之前:新标准下的Top200素材通过19.4%的曝光占比和27.9%的播放占比,带来了47.4%的点赞占比、55.5%的评论占比、45.2%的带产量占比及49.4%的作者占比;旧标准下通过28.9%(+9.5pp)的面板曝光和43.3%(15.4pp)的播放量仅带来+1.6pp带产量和1.3pp的作者量提升,点赞、评论占比反而较新标准Top200低

有什么应用场景

  • 素材供给侧:挑选高综合分优质素材、调整素材供给方向
  • 运营推广侧:针对新增素材冷气数据进行素材评分,通过模型筛选出质量评分高的素材供给运营推广;通过对活动后各素材综合分及是否进行运营动作的复盘,筛选出评分较高但没有得到运营的素材进行特征分析,为此后相似活动的素材筛选反馈经验