边缘集群方式部署平台 - tencentmusic/cube-studio GitHub Wiki

通过边缘集群的形式,在中心节点部署平台,并将边缘节点加入调度,每个私有网用户,通过项目组,将notebook,pipeline,service部署在边缘节点

1、避免数据到中心节点的带宽传输
2、避免中心节点的算力成本,充分利用边缘节点算力
3、避免边缘节点的运维成本

视频教程:边缘计算方式部署和调度

image

主要原则

1、边缘网络的用户可以访问边缘网络和中心网络,中心网络的用户无法访问边缘网络。所以部署在边缘网络中的k8s服务都是无法被中心网络访问的。

2、在中心网络和边缘网络中间也无法通过k8s服务名进行代理。但在中心网络或边缘网络内部是可以通过k8s服务名进行代理。

3、中心网络进行部署cube平台的控制器部分,边缘网络用来部署用户容器(notebook/pipeline任务/服务容器)。使用时主要涉及两个操作

  • 将minio的host改为中心网络的ip,而不是服务名,因为边缘网络的任务无法通过服务名访问到中心网络的minio。但是通过ip可以
  • 为每个边缘网络配置专门的项目组,并在项目组中配置服务代理ip(边缘网络的某台机器ip)。这样边缘网络的notebook/service就会自动使用代理ip进行访问。