11.20 - Stella2019/study GitHub Wiki
https://mp.weixin.qq.com/s/GbESD2NjA_aLT5U0pYkvog
随着移动互联网的兴起,网约车应运而生。在网约车的业务场景里面,特定城市的不同区域的在线司机数差异很大,乘客发单量差异也很大。为了解决区域之间供需不平衡的问题,首先就要对每个区域的供需比有一个准确的预测。而特定区域的供需比随时间变化而变化,与很多外界因数相关,具有周期性,且会因为节假日、恶劣天气等极端事件使得序列出现异常值。用传统的三阶指数平滑处理时不能很好的对异常点做出预测。因此兼顾极端事件的发单量和接单量的预测具有重大的意义。传统的机器学习模型和循环神经网络在时间序列预测的研究方面都取得了一定的成果。本文基于这两个方向,结合具体的业务背景设计出了一种组合预测模型,并且相对现存的方法取得了很大提高。首先我们获取多个城市多个区域在不同时间点的供需比以及区域位置,天气等的历史信息。并对相应特征做了异常值处理、归一化、one-hot、连续特征离散化等初级处理。然后对处理后的特征分别用两种方案做进一步的处理。方案一中,我们分别把供需比序列输入到三阶指数平滑和一阶指数平滑的holt-winter模型里,分别求解模型参数。然后把两个模型线性加权的结果作为一个最终特征。方案二中,我们首先把包含区域特征、天气特征、节气特征、窗口序列特征等的数据整合成[batch,sequence,feature]的形式,把整合的数据同时作为输入和输出去训练一个由五层LSTM构成的自编码器。LSTM包括输入门、输出门和遗忘门。通过前向和后向传播算法迭代到参数收敛得到最佳模型。然后取模型的编码器部分对序列特征进行编码,并把编码器的输出作为最终的多个特征。把前面两个方案输出的数据concat成完整向量,再联合其他特征,一起输入到xgboost模型,并迭代得到最终的模型参数。最后,在测试集上用smape指标度量模型对供需的预测效果。采集前后几个月关于供需的所有数据,输入到上述模型,并训练模型到参数收敛。实验结果表明,通过把一阶指数平滑和三阶指数平滑做加权平均,且融合自编码器,并结合xgboost做预测的方法。比之前传统单一的时间序列预测方法有了显著提高。
http://www.mwintel.com/nd.jsp?id=10
8月17日北京消息，国际顶级数据挖掘会议KDD2016日前在美国旧金山开幕，包括Google、Facebook、微软、Amazon、阿里巴巴、腾讯、百度及滴滴出行等在内的科技公司参加了本次会议，滴滴研究院副院长叶杰平在该会议上发表了如何利用大数据进行智能调度和供需预测的演讲。
滴滴研究院副院长叶杰平在KDD演讲
滴滴研究院副院长叶杰平在KDD演讲
问题与挑战 叶杰平：“滴滴最大资产是每天产生的大量出行大数据，我们每日处理超过70TB数据，90亿次路径规划请求，90亿次地图定位90亿次地图定位以及10亿次派单，这还是我们收购Uber中国之前的数据。对我们来说，如何利用总量如此庞大的交通出行数据是个重大挑战。” 挑战1：等待时间长——订单量巨大 叶杰平：“滴滴出行成立于2012年，目前提供出租车、专车、快车、顺风车等业务，我们去年完成了14.3亿次出行订单，差不多是美国2015年全部出租车订单的两倍。2016年3月，我们实现了新的里程碑，即日出行订单量超过1000万，相当于美国单日分享出行订单总量的5到6倍。” 挑战2：交通拥堵——车辆密度高 叶杰平：“交通拥堵是一个大问题，中国也不例外，全球车辆密度最高的十个城市，前8个来自中国，后面紧随东京和纽约。” 挑战3：打车难——供需不平衡 叶杰平：“人们可能很难在高峰时段打到车，这就是供需不平衡导致的。” 基于人工智能的解决之道 叶杰平：“我们用机器学习模型从海量的出行数据中寻找规律。最核心是找到解决ETA问题最有效的机器学习模型以及特征挖掘，刚开始为ETA建模的时候我们花了很多时间去找特征，现在我们准备不断优化我们的模型，将预估的精度不断提高，更好的服务用户。” 滴滴出行是国内第一家把机器学习成功应用到ETA的公司，这是解决“订单高效匹配”和“司机运力调度”的关键技术。
智能派单 智能派单是滴滴运营的核心技术之一，叶杰平表示：“每一秒，我们都要匹配成千上万的乘客和司机。乘客和司机之间的距离或车程时间是衡量派单质量的主要指标。我们需要用到两项关键的地图技术，即路径规划划和ETA（预估任意起终点所需的行驶时间），来完成派单。” 滴滴出行：如何利用大数据进行智能调度和供需预测
如何实现智能派单 传统方法一般通过路况和每段路的平均速度计算出时间，然后加上可能的等待时间，得到整体所需时间，而滴滴则是利用机器学习来计算时间，大幅提升了用户体验。根据这一技术，目前滴滴出行平台上已经可以实时更新所剩余的距离以及到达终点的时间。
供需预测 对于供需不平衡的问题，叶杰平表示：“可能更好的解决方案是对供需情况进行预测，以便提前对司机进行智能调度，比如我们预测到某个区域将会有很大供需不平衡，我们将会派司机到这一区域，避免用户乘车需求无法满足。实现供需预测将带来三大好处，供需得到平衡、乘客用车体验提升，以及司机收入增加。”
智能调度 逻辑上是为每个司机建立画像， 包括其接单习惯，接单区域，把合适的订单最快匹配到司机手里去，保证司机和用户都找到自己喜欢、适合的服务。 滴滴出行研究院副院长叶杰平：如何利用大数据进行智能调度和供需预测
如何实现智能调度 本次KDD会议上，叶杰平还透露公司正在研发一款名为“九霄”的可视化系统Duse-eye，“该系统可以呈现过去发生了什么以及正在发生什么，比如告诉我们哪里有交通拥堵以及当前的供需情况等。”
智能拼车方案 针对打车难的另一种解决办法是拼车，叶杰平表示可以通过机器学习来智能优化拼车方案，他提到：“拼车降低了人们的出行成本和汽车燃油成本，但关键问题是，需要将所有乘客多耗费的时间最小化。很明显，乘客之间的路线越相似，多出的时间就越少。此外，如何进行拼车定价也是个问题，关键是计算每单的预期利润，如果预期利润很高，我们将给予较高的折扣。这实际上也是个机器学习的问题。”
滴滴的雄心 滴滴研究院是滴滴出行全新的创新性研究机构，也是滴滴出行的“大脑”。未来一切有助于提高移动出行效率的技术创新，都将在这里孵化出来。 目前，滴滴研究院的研究方向包括：机器学习、计算机视觉、人工智能、数据挖掘、最优化理论、分布式计算等。滴滴研究院与业务线紧密结合，每一项研究成果都能以最快的速度应用到相应的产品上，给千万用户带去便捷。 合并Uber中国，网约车合法，滴滴出行在解决市场竞争和营运问题后，正准备用技术突破继续领跑出行领域，滴滴研究院正是其积极布局人工智能的产物。在未来的DT时代，赶上人工智能浪潮的滴滴出行，一定大有可为。
强化学习比赛赛道（RL 赛道） 赛道关键字：强化学习，按需机动性，车辆重定位 总奖金：30,000 美元 平台：CodaLab 任务及评审标准：RL 轨道「学习按需移动平台上的调度和重定位」赛项要求：参与者应用机器学习工具来确定新颖的解决方案，重点考察点为如何应用机器学习解决方案来提高 MoD 平台的效率。 其中包含了 2 个任务，即按需移动（MoD）平台上的订单分派（订单匹配）和车辆重定位（车队管理）。 任务 1 订单分派要求团队开发一种算法，实现在两秒钟的调度窗口内确定订单驱动程序分配。其中，未完成的订单（行程请求）和可用的驱动程序需要在窗口中进行批处理，它们的状态信息将传递到订单调度算法中。
在整个模拟中，将为每个调度窗口重复调用此模块。评估模拟将运行多天，从中计算出平均驾驶员总收入，以此作为算法的得分。
任务 2 车辆重新定位要求团队为预选的小型车辆开发一种重新定位算法。对于这些车辆中的任何一个，如果连续怠速时间超过 L = 5 分钟的阈值，则该车辆可以重新定位。
环境会定期将所选组中所有合格车辆的状态信息发送到重新定位算法，该算法指示驾驶员驶向特定目的地。模拟期间，参赛算法的平均个人收入率，被计算为该算法的分数。
这些算法将在团队无法访问的模拟环境中进行评估，除了环境所产生的分数之外。参与团队可以选择开发一种或两种算法。
RL 赛道详情地址：