数据库结构 - tencentmusic/cube-studio GitHub Wiki
AIHUB
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| uuid | String(2000) | nullable=True | default='' | comment='当前版本的唯一主键' | |
| status | String(200) | nullable=True | default='' | comment='状态' | |
| doc | String(200) | nullable=True | default='' | comment='文档地址' | |
| name | String(200) | nullable=True | default='' | comment='英文名' | |
| field | String(200) | nullable=True | default='' | comment='领域' | |
| scenes | String(200) | nullable=True | default='' | comment='应用场景' | |
| type | String(200) | nullable=True | default='' | comment='类型' | |
| label | String(200) | nullable=True | default='' | comment='中文名' | |
| describe | String(2000) | nullable=True | default='' | comment='描述' | |
| source | String(200) | nullable=True | default='' | comment='来源' | |
| pic | String(500) | nullable=True | default='' | comment='示例图片' | |
| images | String(200) | nullable=True | default='' | comment='docker镜像' | |
| dataset | Text | nullable=True | default='' | comment='数据集的配置' | |
| notebook | String(2000) | nullable=True | default='' | comment='notebook的配置' | |
| job_template | Text | nullable=True | default='' | comment='任务模板参数' | |
| pipeline | Text | nullable=True | default='' | comment='pipeline微调的配置' | |
| pre_train_model | String(2000) | nullable=True | default='' | comment='预训练模型地址' | |
| inference | Text | nullable=True | default='' | comment='推理服务的配置' | |
| service | Text | nullable=True | default='' | comment='服务化参数' | |
| version | String(200) | nullable=True | default='' | comment='版本' | |
| hot | Integer | default=1 | comment='热度' | ||
| price | Integer | default=1 | comment='价格' | ||
| expand | Text | nullable=True | default='{}' | comment='扩展参数' |
chat
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| name | String(200) | nullable=True | default='' | comment='英文名' | unique=True |
| icon | Text | nullable=True | default='' | comment='图标svg内容' | |
| label | String(200) | nullable=True | default='' | comment='中文名' | |
| doc | String(200) | nullable=True | default='' | comment='文档链接' | |
| session_num | String(200) | nullable=True | default='0' | comment='会话保持的个数，默认为1，只记录当前的会话' # | |
| chat_type | String(200) | nullable=True | default='text' | comment='聊天会话的界面类型 # text文本对话，speech 语音对话，text_speech文本加语音对话，multi_modal多模态对话，digital_human数字人' # | |
| hello | String(200) | nullable=True | default='' | comment='欢迎语' | |
| tips | String(4000) | nullable=True | default='' | comment='提示词数组 \n分割' | |
| knowledge | Text | nullable=True | default='' | comment='加载问题前面的先验知识' # | |
| prompt | Text | nullable=True | default='{{prompt}}' | comment='提示词模板' # | |
| service_type | String(200) | nullable=True | default='' | comment=' 推理服务的类型 [chatgpt,gptglm]' | |
| service_config | Text | nullable=True | default='{}' | comment='推理服务的配置，url header json等' # | |
| owner | String(2000) | nullable=True | default='*' | comment='可访问用户，* 表示所有用户' # | |
| expand | Text | nullable=True | default='{}' | comment='扩展参数' |
chatlog
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| username | String(400) | nullable=False | default='' | comment='用户名' | |
| chat_id | Integer | comment='场景id' | |||
| query | String(5000) | nullable=False | default='' | comment='问题' | |
| answer | String(5000) | nullable=False | default='' | comment='回答' | |
| manual_feedback | String(400) | nullable=False | default='' | comment='反馈' | |
| answer_status | String(400) | nullable=False | default='' | comment='回答状态' | |
| answer_cost | String(400) | nullable=False | default='' | comment='话费时长' | |
| err_msg | Text | comment='报错消息' | |||
| created_on | DateTime | nullable=True | default='' | comment='创建时间' | |
| changed_on | DateTime | nullable=True | default='' | comment='修改时间' |
dataset
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(200) | nullable=True | comment='英文名' | ||
| label | String(200) | nullable=True | comment='中文名' | ||
| describe | String(2000) | nullable=True | comment='描述' | ||
| version | String(200) | nullable=True | default='' | comment='版本' | |
| subdataset | String(200) | nullable=True | default='' | comment=' 数据子集名称，例如英文数据子集，中文数据子集' | |
| split | String(200) | nullable=True | default='' | comment=' train test val等' | |
| segment | Text | nullable=True | default='{}' | comment='可以追加数据块，避免整块更新，记录分区信息。分区名，文件文件信息' | |
| doc | String(200) | nullable=True | default='' | comment='数据集的文档页面' | |
| source_type | String(200) | nullable=True | comment='数据集来源，开源，资产，采购' | ||
| source | String(200) | nullable=True | comment='数据集来源，github, 天池' | ||
| industry | String(200) | nullable=True | comment='行业' | ||
| icon | String(2000) | nullable=True | comment='图标svg内容' | ||
| field | String(200) | nullable=True | comment='数据领域，视觉，听觉，文本' | ||
| usage | String(200) | nullable=True | comment='数据用途' | ||
| research | String(200) | nullable=True | comment='研究方向' | ||
| storage_class | String(200) | nullable=True | default='' | comment='存储类型，压缩' | |
| file_type | String(200) | nullable=True | default='' | comment='文件类型，图片 png，音频' | |
| status | String(200) | nullable=True | default='' | comment='文件类型 有待校验，已下线' | |
| years | String(200) | nullable=True | comment='年份' | ||
| url | String(1000) | nullable=True | comment='关联url' | ||
| path | String(400) | nullable=True | comment='本地的持久化路径' | ||
| download_url | String(1000) | nullable=True | comment='下载地址' | ||
| storage_size | String(200) | nullable=True | default='' | comment='存储大小' | |
| entries_num | String(200) | nullable=True | default='' | comment='记录数目' | |
| duration | String(200) | nullable=True | default='' | comment='时长' | |
| price | String(200) | nullable=True | default='0' | comment='价格' | |
| secret | String(200) | nullable=True | default='' | comment='秘钥，数据集的秘钥' | |
| info | Text | nullable=True | default='{}' | comment='数据集，内容信息' | |
| features | Text | nullable=True | default='{}' | comment='特征信息' | |
| metric_info | Text | nullable=True | default='{}' | comment='数据集，指标信息' | |
| owner | String(200) | nullable=True | default='*' | comment='责任人，*表示全部可见' | |
| expand | Text(65536) | nullable=True | default='{}' | comment='扩展参数' |
dimension
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| sqllchemy_uri | String(255) | nullable=True | comment='sql链接串' | ||
| table_name | String(255) | nullable=True | unique=True | comment='表名' | |
| label | String(255) | nullable=True | comment='中文名' | ||
| describe | String(2000) | nullable=True | comment='描述' | ||
| app | String(255) | nullable=True | comment='应用名' | ||
| owner | String(2000) | nullable=True | default='' | comment='责任人' | |
| columns | Text | nullable=True | default='{}' | comment='列信息' | |
| status | Integer | default=1 | comment='状态' |
docker
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| describe | String(200) | nullable=True | comment='描述' | ||
| base_image | String(200) | nullable=True | comment='基础镜像' | ||
| target_image | String(200) | nullable=True | default='' | comment='目标镜像' | |
| last_image | String(200) | nullable=True | default='' | comment='最后生成镜像' | |
| need_gpu | Boolean | nullable=True | default=False | comment='是否需要gpu' | |
| consecutive_build | Boolean | default=True | comment='连续构建' | ||
| expand | Text(65536) | default='{}' | comment='扩展参数' |
ETL_Pipeline
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(100) | nullable=False | comment='英文名' | unique=True | |
| describe | String(200) | nullable=False | comment='描述' | ||
| project_id | Integer | nullable=False | comment='项目组id' | ForeignKey('project.id') | |
| workflow | String(200) | nullable=True | comment='调度引擎' | ||
| dag_json | Text(65536) | nullable=True | default='{}' | comment='pipeline的上下游关系' | |
| config | Text(65536) | default='{}' | comment='pipeline的全局配置' | ||
| expand | Text(65536) | default='[]' | comment='扩展参数' |
ETL_Task
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(100) | nullable=False | comment='英文名' | unique=True | |
| describe | String(200) | nullable=False | comment='描述' | ||
| etl_pipeline_id | Integer | comment='任务流id' | |||
| template | String(100) | nullable=False | comment='任务模板' | ||
| task_args | Text(65536) | default='{}' | comment='任务参数' | ||
| etl_task_id | String(100) | nullable=False | comment='远程调度系统任务id' | ||
| expand | Text(65536) | default='[]' | comment='扩展参数' |
Repository
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(200) | nullable=False | unique = True | comment='英文名' | |
| server | String(200) | nullable=False | comment='仓库地址' | ||
| user | String(100) | nullable=False | comment='账户' | ||
| password | String(100) | nullable=False | comment='密码' | ||
| hubsecret | String(100) | comment='k8s secret名' |
Images
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| project_id | Integer | comment='项目组id' | ForeignKey('project.id') | ||
| name | String(500) | nullable=False | comment='英文名' | ||
| describe | String(1000) | nullable=False | comment='描述' | ||
| repository_id | Integer | comment='仓库id' | ForeignKey('repository.id') | ||
| entrypoint | String(2000) | comment='入口点' | |||
| dockerfile | Text | comment='dockerfile' | |||
| gitpath | String(200) | comment='git地址' |
Job_Template
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| project_id | Integer | comment='项目组id' | ForeignKey('project.id') | ||
| name | String(500) | nullable=False | comment='英文名' | unique=True | |
| version | Enum | nullable=False | default='Release' | comment='版本' | |
| images_id | Integer | comment='镜像id' | ForeignKey('images.id') | ||
| hostAliases | Text | comment='域名映射' | |||
| describe | String(500) | nullable=False | comment='描述' | ||
| workdir | String(400) | comment='工作目录' | |||
| entrypoint | String(2000) | comment='入口点' | |||
| args | Text | comment='启动参数' | |||
| env | Text | comment='默认自带的环境变量' | |||
| volume_mount | String(2000) | default='' | comment='强制必须挂载' | ||
| privileged | Boolean | default=False | comment=' 是否启用特权模式' | ||
| accounts | String(100) | comment='使用k8s账户' | |||
| demo | Text | comment='配置示例' | |||
| expand | Text(65536) | default='{}' | comment='扩展参数' |
Pipeline
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(100) | nullable=False | comment='英文名' | unique=True | |
| describe | String(200) | nullable=False | comment='描述' | ||
| project_id | Integer | nullable=False | comment='项目组id' | ForeignKey('project.id') | |
| dag_json | Text | nullable=False | default='{}' | comment='上下游关系' | |
| namespace | String(100) | default='pipeline' | comment='命名空间' | ||
| global_env | String(500) | default='' | comment='全局环境变量' | ||
| schedule_type | Enum | nullable=False | comment='调度类型' | ||
| cron_time | String(100) | comment='调度周期' | |||
| cronjob_start_time | String(300) | default='' | comment='定时调度补录起点' | ||
| pipeline_file | Text(655360) | default='' | comment='workflowyaml文件' | ||
| pipeline_argo_id | String(100) | comment='argoworkflowid' | |||
| version_id | String(100) | comment='workflowversionid' | |||
| run_id | String(100) | comment='workflowrunid' | |||
| node_selector | String(100) | default='cpu=true,train=true' | comment='机器选择器' | ||
| image_pull_policy | Enum | nullable=False | comment='镜像拉取策略' | ||
| parallelism | Integer | nullable=False | default=1 | comment='同一个pipeline，最大并行的task数目' | |
| alert_status | String(100) | default='Pending,Running,Succeeded,Failed,Terminated' | comment=' 哪些状态会报警Pending,Running,Succeeded,Failed,Unknown,Waiting,Terminated' | ||
| alert_user | String(300) | default='' | comment='报警接收人' | ||
| expand | Text(65536) | default='[]' | comment='扩展参数' | ||
| depends_on_past | Boolean | default=False | comment='是否依赖过往实例' | ||
| max_active_runs | Integer | nullable=False | default=3 | comment='最大同时运行的pipeline实例' | |
| expired_limit | Integer | nullable=False | default=0 | comment='过期保留个数，此数值有效时，会优先使用，覆盖max_active_runs的功能' | |
| parameter | Text(65536) | default='{}' | comment='前端保留参数，用于记录编排样式' |
Task
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(100) | nullable=False | comment='英文名' | ||
| label | String(100) | nullable=False | comment='中文名'别名 | ||
| job_template_id | Integer | comment='任务模板id' | |||
| pipeline_id | Integer | comment='项目组id' | |||
| working_dir | String(1000) | default='' | comment='启动目录' | ||
| command | String(1000) | default='' | comment='启动命令' | ||
| overwrite_entrypoint | Boolean | default=False | comment='是否覆盖模板中的入口点' | ||
| args | Text | comment='任务启动参数' | |||
| volume_mount | String(2000) | default='kubeflow-user-workspace(pvc):/mnt,kubeflow-archives(pvc):/archives' | comment='挂载' | ||
| node_selector | String(100) | default='cpu=true,train=true' | comment='机器选择器' | ||
| resource_memory | String(100) | default='2G' | comment='申请内存' | ||
| resource_cpu | String(100) | default='2' | comment='申请cpu' | ||
| resource_gpu | String(100) | default='0' | comment='申请gpu' | ||
| resource_rdma | String(100) | default='0' | comment='rdma的资源数量' | ||
| timeout | Integer | nullable=False | default=0 | comment='超时' | |
| retry | Integer | nullable=False | default=0 | comment='重试次数' | |
| outputs | Text | default='{}' | comment='task的输出，会将输出复制到minio上'{'prediction':'/output.txt'} | ||
| monitoring | Text | default='{}' | comment='该任务的监控信息' | ||
| expand | Text(65536) | default='' | comment='扩展参数' | ||
| skip | Boolean | default=False | comment='是否跳过' |
RunHistory
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| pipeline_id | Integer | comment='任务流id' | ForeignKey('pipeline.id' | ||
| pipeline_file | Text(655360) | default='' | comment='workflowyaml' | ||
| pipeline_argo_id | String(100) | comment='任务流argoid，上传的pipelineid' | |||
| version_id | String(100) | comment='上传的版本号' | |||
| experiment_id | String(100) | comment='实验id' | |||
| run_id | String(100) | comment='runid' | |||
| message | Text | default='' | comment='消息' | ||
| created_on | DateTime | nullable=False | default=datetime.datetime.now | comment='创建时间' | |
| execution_date | String(200) | nullable=False | comment='执行时间' | ||
| status | String(100) | default='comed' | comment='状态，commed表示已经到了该调度的时间，created表示已经发起了调度。注意操作前校验去重' |
Crd
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(100) | default='' | comment='英文名' | ||
| cluster | String(100) | default='' | comment='k8s集群' | ||
| namespace | String(100) | default='' | comment='命名空间' | ||
| create_time | String(100) | default='' | comment='创建时间' | ||
| change_time | String(100) | default='' | comment='修改时间' | ||
| status | String(100) | default='' | comment='状态' | ||
| annotations | Text | default='' | comment='注释' | ||
| labels | Text | default='' | comment='标签' | ||
| spec | Text(655360) | default='' | comment='配置详情' | ||
| status_more | Text() | default='' | comment='状态' | ||
| username | String(100) | default='' | comment='用户名' | ||
| info_json | Text | default='{}' | comment='通知记录' | ||
| add_row_time | DateTime | default=datetime.datetime.now | comment='记录时间' | ||
| foreign_key | String(100) | default='' | comment='外键' |
Metadata_table
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| node_id | String(200) | comment='唯一性id' | comment='唯一性id' | ||
| app | String(200) | nullable=True | comment='所属应用' | ||
| c_org_fullname | String(255) | nullable=True | default='' | comment='所属组织架构' | |
| db | String(200) | nullable=True | comment='库名' | ||
| table | String(400) | nullable=True | comment='表名' | ||
| metadata_column | Text | nullable=True | default='[]' | comment='列信息' | |
| describe | String(200) | nullable=True | comment='描述' | ||
| owner | String(200) | nullable=True | comment='责任人' | ||
| lifecycle | Integer | nullable=True | default=0 | comment='生命周期' | |
| rec_lifecycle | Integer | nullable=True | default=0 | comment='推荐生命周期' | |
| storage_size | String(200) | nullable=True | default='0' | comment='存储大小' | |
| storage_cost | Float | nullable=True | default=0 | comment='存储成本' | |
| visits_seven | Integer | nullable=True | default=0 | comment='7日访问量' | |
| visits_thirty | BigInteger | nullable=True | default=0 | comment='30日访问量' | |
| visits_sixty | BigInteger | nullable=True | default=0 | comment='60日访问量' | |
| recent_visit | Date | nullable=True | comment='最新被访问时间' | ||
| partition_start | String(255) | nullable=True | default='' | comment='分区起点' | |
| partition_end | String(255) | nullable=True | default='' | comment='分区终点' | |
| status | String(255) | nullable=True | default='' | comment='状态' | |
| creator | String(255) | nullable=True | default='' | comment='创建者' | |
| create_table_ddl | Text | nullable=True | comment='建表语句' | ||
| col_info | Text | nullable=True | comment='列信息' | ||
| partition_update_mode | Integer | nullable=True | comment='分区更新模式' | ||
| is_privilege | Integer | nullable=False | default=1 | comment='是否特权' | |
| data_source | Integer | nullable=True | default=0 | comment='数据来源' | |
| field | String(200) | nullable=True | default='unknown' | comment='所属数据域' | |
| security_level | String(200) | nullable=True | default=__('普通') | comment='安全等级' | |
| value_score | String(200) | nullable=True | default='0' | comment='价值评估' | |
| warehouse_level | String(200) | nullable=True | default='unknown' | comment='数仓级别' | |
| ttl | String(200) | nullable=True | comment='保留时长' | ||
| expand | Text(65536) | nullable=True | default='{}' | comment='扩展参数' |
Metadata_metric
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| app | String(100) | nullable=False | comment='应用名' | ||
| name | String(300) | nullable=True | comment='英文名' | ||
| label | String(300) | nullable=True | comment='中文名' | ||
| describe | String(500) | nullable=False | comment='描述' | ||
| caliber | Text(65536) | nullable=True | default='' | comment='数据负责人' | |
| metric_type | String(100) | nullable=True | comment='指标类型原子指标衍生指标' | ||
| metric_level | String(100) | nullable=True | default=__('普通') | comment='指标等级普通重要核心' | |
| metric_dim | String(100) | nullable=True | default='' | comment='指标维度天月周' | |
| metric_data_type | String(100) | nullable=True | default='' | comment='指标类型营收/规模/商业化' | |
| metric_responsible | String(200) | nullable=True | default='' | comment='指标负责人' | |
| status | String(100) | nullable=True | default='' | comment='状态下线上线创建中' | |
| task_id | String(200) | nullable=True | default='' | comment='所有相关任务id' | |
| public | Boolean | default=True | comment='是否公开' | ||
| remark | Text(65536) | nullable=True | default='' | comment='备注' | |
| expand | Text(65536) | nullable=True | default='{}' | comment='扩展参数' |
NNI
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| job_type | Enum | nullable=True | default='Job' | comment='任务类型' | |
| project_id | Integer | nullable=False | comment='项目组id'定义外键 | ForeignKey('project.id') | |
| name | String(200) | nullable=False | comment='英文名' | unique=True | |
| namespace | String(200) | nullable=True | default='automl' | comment='命名空间' | |
| describe | Text | comment='描述' | |||
| parallel_trial_count | Integer | default=3 | comment='最大并行数' | ||
| maxExecDuration | Integer | default=3600 | comment='最大执行时长' | ||
| max_trial_count | Integer | default=12 | comment='最大搜索次数' | ||
| max_failed_trial_count | Integer | default=3 | comment='最大失败次数' | ||
| objective_type | Enum | nullable=False | default='maximize' | comment='搜索目标类型' | |
| objective_goal | Float | nullable=False | default=0.99 | comment='搜索目标值' | |
| objective_metric_name | String(200) | nullable=False | default='accuracy' | comment='目标度量名称' | |
| objective_additional_metric_names | String(200) | default='' | comment='附加目标度量名'逗号分隔 | ||
| algorithm_name | String(200) | nullable=False | default='Random' | comment='算法名' | |
| algorithm_setting | Text | default='' | comment='算法配置，搜索算法的配置' | ||
| parameters | Text | default='{}' | comment='搜索超参的配置' | ||
| job_json | Text | default='{}' | comment='根据不同算法和参数写入的task模板' | ||
| trial_spec | Text | default='' | comment='根据不同算法和参数写入的task模板' | ||
| job_worker_image | String(200) | nullable=True | default='' | comment='执行镜像' | |
| job_worker_command | String(200) | nullable=True | default='' | comment='执行命令' | |
| working_dir | String(200) | default='' | comment='启动目录，挂载' | ||
| volume_mount | String(2000) | default='kubeflow-user-workspace(pvc):/mnt' | comment='挂载，挂载' | ||
| node_selector | String(100) | default='cpu=true,train=true' | comment='机器选择器，挂载' | ||
| image_pull_policy | Enum | nullable=False | default='Always' | comment='镜像拉取策略' | |
| resource_memory | String(100) | default='1G' | comment='申请内存' | ||
| resource_cpu | String(100) | default='1' | comment='申请cpu' | ||
| resource_gpu | String(100) | default='0' | comment='申请gpu' | ||
| experiment | Text | default='' | comment='构建出来的实验体' | ||
| alert_status | String(100) | default='Pending,Running,Succeeded,Failed,Terminated' | comment='哪些状态会报警Pending,Running,Succeeded,Failed,Unknown,Waiting,Terminated' |
Node
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| cluster | String(200) | nullable=True | comment='隶属集群' | ||
| name | String(200) | nullable=True | comment='机器名称' | ||
| edge | String(200) | nullable=True | comment='是否是边缘设备' | ||
| node_type | String(200) | nullable=True | comment='设备类型，服务器，车载，盒子' | ||
| ip | String(200) | nullable=True | comment='机器的ip' | ||
| describe | String(2000) | nullable=True | comment='机器的描述' | ||
| enable_cpu | String(200) | nullable=True | default='' | comment='是否允许cpu调度' | |
| enable_gpu | String(200) | nullable=True | default='' | comment='是否允许gpu调度' | |
| enable_vgpu | String(200) | nullable=True | default='' | comment='是否允许vgpu调度' | |
| enable_rdma | String(200) | nullable=True | default='' | comment='是否允许rdma调度' | |
| gpu_type | String(200) | nullable=True | default='' | comment='gpu卡型' | |
| org | String(200) | nullable=True | default='' | comment='资源组' | |
| disable | String(200) | nullable=True | default='' | comment='是否禁止调度' | |
| worker_type | String(200) | nullable=True | default='' | comment='notebook train service 哪种类型' | |
| added_time | String(200) | nullable=True | default='' | comment='加入集群的时间' | |
| architecture | String(200) | nullable=True | default='' | comment='系统架构' | |
| operating_system | String(200) | nullable=True | default='' | comment='操作系统' | |
| kernel_version | String(200) | nullable=True | default='' | comment='操作内核' | |
| expand | Text(65536) | nullable=True | default='{}' | comment='扩展参数' |
Notebook
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| project_id | Integer | nullable=False | comment='项目组id' | ForeignKey('project.id' | |
| name | String(200) | nullable=True | comment='英文名' | unique=True | |
| describe | String(200) | nullable=True | comment='描述' | ||
| namespace | String(200) | nullable=True | default='jupyter' | comment='命名空间' | |
| images | String(200) | nullable=True | default='' | comment='镜像' | |
| ide_type | String(100) | default='jupyter' | comment='ide类型' | ||
| working_dir | String(200) | default='' | comment='工作目录' | ||
| env | String(400) | default='' | comment='环境变量' | ||
| volume_mount | String(2000) | default='kubeflow-user-workspace(pvc):/mnt,kubeflow-archives(pvc):/archives' | comment='挂载' | ||
| node_selector | String(200) | default='cpu=true,notebook=true' | comment='机器选择器' | ||
| image_pull_policy | Enum | nullable=True | default='Always' | comment='镜像拉取策略' | |
| resource_memory | String(100) | default='10G' | comment='申请内存' | ||
| resource_cpu | String(100) | default='10' | comment='申请cpu' | ||
| resource_gpu | String(100) | default='0' | comment='申请gpu' | ||
| expand | Text(65536) | default='{}' | comment='扩展参数' |
Service_Pipeline
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | primary_key=True | |||
| name | String(100) | nullable=False | unique=True | ||
| describe | String(200) | nullable=False | |||
| project_id | Integer | nullable=False | ForeignKey('project.id') | ||
| dag_json | Text | nullable=False | default='{}' | ||
| namespace | String(100) | default='service' | |||
| env | String(500) | default='' | |||
| run_id | String(100)) | ||||
| node_selector | String(100) | default='cpu=true,train=true' | |||
| images | String(200) | nullable=False | |||
| working_dir | String(100) | default='' | |||
| command | String(1000) | default='' | |||
| volume_mount | String(2000) | default='' | |||
| image_pull_policy | Enum | nullable=False | default='Always' | ||
| replicas | Integer | default=1 | |||
| resource_memory | String(100) | default='2G' | |||
| resource_cpu | String(100) | default='2' | |||
| resource_gpu | String(100) | default='0' | |||
| parallelism | Integer | nullable=False | default=1 | comment='同一个service_pipeline，最大并行的task数目' | |
| alert_status | String(100) | default='Pending,Running,Succeeded,Failed,Terminated' | comment='哪些状态会报警Pending,Running,Succeeded,Failed,Unknown,Waiting,Terminated' | ||
| alert_user | String(300) | default='' | |||
| expand | Text(65536) | default='[]' | |||
| parameter | Text(65536) | default='{}' |
Service
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| project_id | Integer | comment='项目组id' | ForeignKey('project.id') | ||
| name | String(100) | nullable=False | comment='英文名' | unique=True | |
| label | String(100) | nullable=False | comment='中文名' | ||
| images | String(200) | nullable=False | comment='镜像' | ||
| working_dir | String(100) | default='' | comment='启动目录' | ||
| command | String(1000) | default='' | comment='启动命令' | ||
| args | Text | default='' | comment='启动参数' | ||
| env | Text | default='' | comment='环境变量' | ||
| volume_mount | String(2000) | default='' | comment='挂载' | ||
| node_selector | String(100) | default='cpu=true,serving=true' | comment='机器选择器' | ||
| replicas | Integer | default=1 | comment='副本' | ||
| ports | String(100) | default='80' | comment='端口' | ||
| resource_memory | String(100) | default='2G' | comment='申请内存' | ||
| resource_cpu | String(100) | default='2' | comment='申请cpu' | ||
| resource_gpu | String(100) | default='0' | comment='申请gpu' | ||
| deploy_time | String(100) | nullable=False | default=datetime.datetime.now | comment='部署时间' | |
| host | String(200) | default='' | comment='域名' | ||
| expand | Text(65536) | default='{}' | comment='扩展参数' |
InferenceService
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| project_id | Integer | comment='项目组id' | ForeignKey('project.id') | ||
| name | String(100) | nullable=True | comment='英文名' | unique=True | |
| label | String(100) | nullable=False | comment='中文名' | ||
| service_type | String(100) | nullable=True | default='serving' | comment='服务类型' | |
| model_name | String(200) | default='' | comment='模型名' | ||
| model_version | String(200) | default='' | comment='模型版本' | ||
| model_path | String(200) | default='' | comment='模型地址' | ||
| model_type | String(200) | default='' | comment='模型类型' | ||
| model_input | Text(65536) | default='' | comment='模型输入' | ||
| model_output | Text(65536) | default='' | comment='模型输出' | ||
| inference_config | Text(65536) | default='' | comment='配置文件' | ||
| model_status | String(200) | default='offline' | comment='服务状态' | ||
| transformer | String(200) | default='' | comment='预处理' | ||
| images | String(200) | nullable=False | comment='镜像' | ||
| working_dir | String(100) | default='' | comment='启动目录' | ||
| command | String(1000) | default='' | comment='启动命令' | ||
| args | Text | default='' | comment='启动参数' | ||
| env | Text | default='' | comment='环境变量' | ||
| volume_mount | String(2000) | default='' | comment='挂载' | ||
| node_selector | String(100) | default='cpu=true,serving=true' | comment='机器选择器' | ||
| min_replicas | Integer | default=1 | comment='最小副本数' | ||
| max_replicas | Integer | default=1 | comment='最大副本数' | ||
| hpa | String(400) | default='' | comment='弹性伸缩' | ||
| metrics | Text(65536) | default='' | comment='监控接口' | ||
| health | String(400) | default='' | comment='健康检查' | ||
| sidecar | String(400) | default='' | comment='伴随容器' | ||
| ports | String(100) | default='80' | comment='端口' | ||
| resource_memory | String(100) | default='2G' | comment='申请内存' | ||
| resource_cpu | String(100) | default='2' | comment='申请cpu' | ||
| resource_gpu | String(100) | default='0' | comment='申请gpu' | ||
| deploy_time | String(100) | nullable=True | default=datetime.datetime.now | comment='部署时间' | |
| host | String(200) | default='' | comment='域名' | ||
| expand | Text(65536) | default='{}' | comment='扩展参数' | ||
| canary | String(400) | default='' | comment='灰度发布' | ||
| shadow | String(400) | default='' | comment='灰度发布' | ||
| run_id | String(100) | nullable=True | comment='run id' | ||
| run_time | String(100) | comment='运行时间' | |||
| deploy_history | Text(65536) | default='' | comment='部署历史' | ||
| priority | Integer | default=1 | comment='优先级' |
Sqllab_Query
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| submit_time | String(40) | nullable=False | default='' | comment='提交时间' | |
| start_time | String(40) | nullable=False | default='' | comment='启动时间' | |
| end_time | String(40) | nullable=False | default='' | comment='结束时间' | |
| engine_arg1 | String(200) | nullable=False | default='' | comment='引擎参数1' | |
| engine_arg2 | String(200) | nullable=False | default='' | comment='引擎参数2' | |
| qsql | String(5000) | nullable=False | default='' | comment='sql语句' | |
| engine | String(100) | nullable=False | default='mysql' | comment='引擎' | |
| deli | String(11) | nullable=False | default=' | ' | comment='分隔符' |
| stage | String(11) | nullable=False | default='START' | comment='阶段' | |
| status | String(11) | nullable=False | default='INIT' | comment='状态' | |
| task_id | String(100) | nullable=False | default='' | comment='任务id' | |
| log_url | String(400) | nullable=False | default='' | comment='日志url' | |
| ui_url | String(400) | nullable=False | default='' | comment='任务url' | |
| result_url | String(400) | nullable=False | default='' | comment='结果url' | |
| result_line_num | String(400) | nullable=False | default='-1' | comment='结果行数' | |
| err_msg | Text | comment='报错消息' | |||
| username | String(400) | nullable=False | default='' | comment='用户名' |
Storage
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(200) | nullable=True | comment='' 存储的名称 | ||
| storage_type | String(200) | nullable=True | comment='分布式存储类型' | ||
| config | String(2000) | nullable=True | comment='分布式存储配置参数' | ||
| describe | String(2000) | nullable=True | comment='存储的描述' | ||
| clusters | String(200) | nullable=True | comment='可用集群名' | ||
| expand | Text(65536) | nullable=True | default='{}' | comment='扩展参数' |
Project
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(50) | nullable=False | comment='名称' | ||
| describe | String(500) | nullable=False | comment='描述' | ||
| type | String(50) | comment='类型，org, job_template, model' | |||
| expand | Text(65536) | default='{}' | comment='扩展参数' |
Project_User
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| project_id | Integer | nullable=False | comment='项目组id' | ForeignKey("project.id") | |
| user_id | Integer | nullable=False | comment='用户id' | ForeignKey("ab_user.id") | |
| role | Enum | nullable=False | default='dev' | comment='角色' |
Training_Model
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | comment='id主键' | primary_key=True | ||
| name | String(100) | nullable=False | comment='英文名' | ||
| version | String(100) | comment='版本' | |||
| describe | String(1000) | comment='描述' | |||
| path | String(200) | comment='模型路径' | |||
| download_url | String(200) | comment='下载url' | |||
| project_id | Integer | comment='项目组id' | ForeignKey('project.id') | ||
| pipeline_id | Integer | default=0 | comment='任务流id' | ||
| run_id | String(100) | nullable=False | comment='run id' | ||
| run_time | String(100) | comment='运行时间' | |||
| framework | String(100) | comment='训练框架' | |||
| metrics | Text | default='{}' | comment='指标' | ||
| md5 | String(200) | default='' | comment='md5值' | ||
| api_type | String(100) | comment='api类型' |
UserAttribute
| 列名 | 类型 | 是否可为空 | 默认值 | 描述 | 是否唯一 |
|---|---|---|---|---|---|
| id | Integer | primary_key=True | |||
| user_id | Integer | ForeignKey("ab_user.id")) |