产品介绍.pdf

1 、项目简介

• 1.1 、平台简介

• 1.1.1、企业版vs开源版

• 1.2 、基础组件介绍

• 1.3 、平台架构

  • 1.3.1 、平台架构：云原生基础

  • 1.3.2 、平台架构：算力与分布式存储

  • 1.3.3 、平台架构：prometheus/grafana监控体系

  • 1.3.4 、平台架构：分布式训练能力+加速

  • 1.3.5 、平台架构：在线开发

  • 1.3.6 、平台架构：ML任务流

  • 1.3.7 、平台架构：超参搜索

  • 1.3.8 、平台架构：推理服务

  • 1.3.9、平台架构：流量代理

  • 1.3.10、平台架构：RDMA

2 、平台部署

• 2.1、安装docker

• 2.1.1 、初始化机器

• 2.2 、使用rancher自建k8s集群(可以使用自己的k8s集群)

• 2.3 、平台单机部署

• 2.4 、平台多机、多集群、多项目组 部署调度

• 2.5 、gpu机器加入集群

• 2.6、nfs分布式存储部署

• 2.7 、部署harbor私有仓库

• 2.8、替换平台组件

• 2.9、在 kubesphere 上搭建 cube studio

• 2.10、在k3s上搭建cube-studio

• 2.11、老版本升级方法

3、平台使用简介

• 3.1 、新人用户使用指南

• 3.2 、项目空间

  • 3.2.- 、项目空间
  • 3.2.- 、用户和角色
  • 3.2.- 、资源配置

• 3.3 、数据资产

  • 3.3.- 、sqllab
  • 3.3.- 、库表
  • 3.3.- 、指标
  • 3.3.- 、维表
  • 3.3.- 、数据集
  • 3.3.- 、标注平台

• 3.4 在线开发

  • 3.4.- 、镜像仓库
  • 3.4.- 、镜像在线构建和管理
  • 3.4.- 、在线ide
  • 3.4.- 、数据ETL

• 3.5 模型训练

  • 3.5.- 模板使用
  • 3.5.- 任务流
  • 3.5.- 超参搜索

• 3.6 服务化

  • 3.6.- 内部服务
  • 3.6.- 模型管理与服务
  • 3.6.- ml-推理服务
  • 3.6.- tfserving-推理服务
  • 3.6.- torch-server-推理服务
  • 3.6.- triton-推理服务

• 3.7 AIHUB

  • 3.7.- AIHUB
  • 3.7.- 数据智能
  • 3.7.- sdk

• 3.8 、模板使用

  • 模板-数据导入导出-datax(单机)

  • 模板-数据导入导出-数据集导入(单机)

  • 模板-数据导入导出-模型导入(单机)

  • 模板-数据预处理(单机)

  • 模板-数据处理-hadoop(单机)

  • 模板-数据处理-spark(分布式)

  • 模板-数据处理-ray(分布式)

  • 模板-数据处理-volcanojob(分布式)

  • 模板-特征工程(单机)

  • 模板-机器学习框架-ray-sklearn(分布式)

  • 模板-机器学习算法-random_forest(单机)

  • 模板-机器学习算法-lr(单机)

  • 模板-机器学习算法-lightgbm(单机)

  • 模板-机器学习算法-knn(单机)

  • 模板-机器学习算法-kmeans(单机)

  • 模板-机器学习算法-nni(单机)

  • 模板-机器学习算法-xgb(单机)

  • 模板-机器学习算法-gbdt(单机)

  • 模板-机器学习算法-decision-tree(单机)

  • 模板-机器学习算法-bayesian(单机)

  • 模板-机器学习算法-adaboost(单机)

  • 模板-深度学习-tfjob(分布式)

  • 模板-深度学习-pytorchjob(分布式)

  • 模板-深度学习-paddle(分布式)

  • 模板-深度学习-mxnet(分布式)

  • 模板-深度学习-mindspore(分布式)

  • 模板-深度学习-horovod(分布式)

  • 模板-深度学习-mpi(分布式)

  • 模板-深度学习-colossalai(分布式)

  • 模板-深度学习-deepspeed(分布式)

  • 模板-深度学习-megatron(分布式)

  • 模板-模型处理-model-evaluation(单机)

  • 模板-模型服务化-model-convert(单机)

  • 模板-模型服务化-model-register(单机)

  • 模板-模型服务化-deploy-service(单机)

  • 模板-模型服务化-model-offline-predict(分布式)

  • 模板-多媒体类-media-download(分布式)

  • 模板-多媒体类-video-img(分布式)

  • 模板-多媒体类-video-audio(分布式)

  • 模板-大模型-llama2(单机多卡)

  • 模板-大模型-chatglm2(单机多卡)

  • 模板-大模型-baichuan2(单机多卡)

4 、管理员操作说明

• 4.1 、管理员操作指南

• 4.2 、自定义配置文件

• 4.3、运维指南

• 4.4、分布式存储目录使用

5、开发

• 5.1、自定义任务模板