重构中的技术决策 - PaddlePaddle/Paddle GitHub Wiki 本文档列举出重构过程中需要决定的若干问题。 哪些是我们比较的框架? Tensorflow,MXNet,Caffe2,PyTorch,DyNet OP实现相关 基于Layer还是基于OP实现神经网络框架? 传入OP的参数是什么样的? OP中是否需要backward操作? 多显卡实现 如何实现参数聚合和分发,NCCL 或自己实现? @qijun 用户如何使用多显卡优化神经网络? 多显卡操作如何在框架内部表示? OP注册机制 使用何种数据结构注册OP? Protobuf Or C++ Class? @yuyang 是否需要元信息?以何种手段注册元信息? @yuyang 如何检查参数合法性? @yuyang 如何设置参数默认值? @yuyang 网络配置相关 是否支持动态网络?如何支持? PaddlePaddle Cloud 如何与PaddlePaddle Cloud整合 资源管理相关 是否实现一个自己的Tensor库,还是使用第三方? 如何管理特定设备的资源,以及如何使用特定设备上的第三方库(nnpack,neon等) ⚠️ **GitHub.com Fallback** ⚠️