| 用户权限 |
SSO单点登录 |
- 账号密码注册自动登录，
- 支持对接公司账号体系AUTH_OID/AUTH_LDAP/AUTH_REMOTE_USER等登录注册方式，
- 支持消息推送。
- 增加登录验证，强密码，远程用户，登录频率限制，密码密文传输等
|
| 用户权限 |
项目组管理 |
- AI平台需要通过项目划分，
- 支持配置相应项目组用户的权限，
- 任务/服务的挂载，资源组，集群，服务代理，
- 项目组内角色应用 支持用户和项目组删除，支持为项目组指定命名空间
|
| 用户权限 |
用户管理 角色管理/权限管理 |
- 管理平台用户的基本信息，组织架构，支持账号密码，rbac权限体系。
- 增加修改和删除，清理等操作的历史记录
- 支持菜单权限控制
|
| 基础能力 |
网络 |
- 支持非80端口，
- 支持公网/域名，
- 支持反向代理和内网穿透方式访问，
- 支持https
|
| 基础能力 |
数据库存储 |
- 支持外部mysql作为元数据库
- 支持外部postgres作为元数据库
|
| 基础能力 |
国际化能力 |
|
| 算力调度 |
gpu调度能力 |
- 提供多种规格的资源支持不同的使用场景，cpu/gpu等 支持T4/V100/A100等多种卡型，
- 支持gpu禁用模型，共享模式，独占模式，vgpu模式，支持虚拟化占用显存设定，支持指定卡序号，支持gpu调度binpack调度策略，支持ib-rdma协议
|
| 算力调度 |
支持多种算力 |
- 前后端镜像支持arm架构，平台底层外部组件支持arm架构，任务模板支持arm架构，超参搜索支持arm架构，aihub应用70%支持arm架构。
- 支持调度海光dcu，华为npu算力，壁仞，沐曦
|
| 算力调度 |
多资源组/多集群 |
- 支持划分多资源组，支持docker运行时，
- 支持多k8s集群，支持ipvs网络模式，支持containerd容器运行态
|
| 算力调度 |
计量计费功能 |
- 1、支持平台资源限制的分配和查看；项目组资源限制，租户资源限制、任务资源限制，项目组下个人的资源限制，包括开发资源，训练资源、推理资源等。 额度限制限制在notebook，docker构建，pipeline，超参搜索，内部服务，推理服务中的生效。限制支持单任务，并行任务总和和历史任务总和等方法
- 2、提供统一的开发、训练、推理服务资源监控，从租户、项目、任务角度分析模型资源分配及使用情况。
- 3、支持自定义计费模式，通过计量结果自定义获取计费值
- 4、日结账单，产生用户每日账单费用和明细
|
| 算力调度 |
边缘集群 |
|
| 算力调度 |
serverless集群模式 |
- 支持腾讯云serverless集群模式，（notebook,pipeline,推理服务模块支持）
- 阿里云serverless集群模式（notebook,pipeline,推理服务模块支持）
|
| 算力调度 |
机器资源管理 |
- web界面控制机器调度类型，所属资源组，是否启动rdma，是否启动vgpu，可用任务场景等
|
| 算力调度 |
存储盘管理 |
- 支持web界面添加存储盘，支持项目组绑定，notebook pipeline 推理服务，直接在pod中挂载外部分布式存储。
- 支持nfs，cfs，oss，nas，cos，glusterfs，cephfs，s3/minio
|
| 数据管理 |
数据地图 |
|
| 数据管理 |
数据计算 |
- sqllab交互查询，支持mysql，postgresql，clickhouse，hive，presto等计算引擎
|
| 数据管理 |
ETL编排 |
- 数据ETL任务流编排，任务管理等对接公司数据中台相应计算/调度引擎
|
| 数据管理 |
数据集管理 |
- 允许用户随时上传样本集（图片、音频、文本等），
- 支持sdk进行数据集对接，
- 支持数据集一键探索功能
|
| 数据管理 |
数据标注 |
- 支持标注平台，图/文/音/多模态各类型标注能力，
- 支持分布式存储打通mlops平台，
- 支持项目组权限控制
- 中文汉化
- 对接一站式机器学习平台，支持自动化标注(需购买aihub)：
- 支持目标识别，目标边界识别，多目标视频跟踪，目标遮罩识别，图片分类，图片描述，ocr，关键点检测。支持大模型自动化标注：文本分类，文本翻译，命名实体识别，阅读理解，问答，摘要提取，答案排序
|
| 开发环境 |
镜像功能 |
- 镜像仓库/镜像管理/在线构建镜像。同时提供平台所有镜像，包括模板镜像/服务镜像/notebook镜像/gpu基础环境的构建方法和构建后镜像，
- 支持同一仓库多个秘钥配置，支持在线镜像构建
|
| 开发环境 |
notebook |
- 支持基于开源的Jupyterlab/vscode，提供在线的交互式开发调试工具；
- 提供多种可选环境ide和开发示例，支持资源类型选择 支持大数据版本，机器学习版本，深度学习版本
- 大数据版本支持用户信息，hdfs客户端，hive客户端和spark客户端
- 支持ssh remote与notebook对接远程开发，方便快速将本地代码提交到平台的训练环境。
- ssh隧道代理，单端口开放
- 支持matlab，Rstudio等在线ide
- 支持gpu，cpu，内存，监控，支持git交互
- 支持自定义notebook镜像，便于封装公司自己的notebook
- 多环境notebook，支持R语言/julia语言/python2.7/python3.6/python3.7/python3.8/python3.9/python3.10环境和cube-studio专有环境
- 支持tensorboard任务可视化
- notebook支持环境镜像保存
- jupyter支持密码保护
- notebook支持整卡占用，虚拟卡占用，gpu共享占用
- 支持notebook启动自动初始化环境，
- 支持notebook自动清理，续期
|
| 模型训练 |
拖拉拽任务流编排调试 |
- 提供拖拽式交互开发环境，支持开发者以拖拽的方式完成业务逻辑的PIPLINE；
- 支持单任务调试，
- 训练支持多种资源规格（CPU、GPU等），支持卡型的选择，超时重试等。
- 任务支持独占和共享占用gpu
- 分布式任务模板支持单任务调试用户镜像而非模板镜像
- 支持rdma资源占用
- 支持gpu不同厂商，不同卡型的占用
- 分布式任务模板支持gpu型号透传，rdma资源透传，拉取秘钥透传
- pipeline调试，支持定时调度，补录，并发限制，超时，实例依赖等，
- 任务管理，
- workflow实例管理，
- 资源监控，
- 支持任务输入输出，
- 任务流全局变量，
- 文本/图片/echart结果可视化，
- 支持workflow暂停和恢复。
- 支持任务流优先级
- 支持单任务和pipeline运行中任务监听端口提供运行中服务监听能力
- 任务流支持任务推荐
- 定时调度支持最大保留实例数
- pipeline支持任务流优先级
|
| 模型训练 |
主流功能算子 |
基础算子：
- 自定义镜像，
- 逻辑节点，
- python
- 数据同步：
- 数据集导入，(支持huggingface/魔塔数据集)
- datax，datax-import
- 模型导入(支持huggingface/魔塔模型)
- labelstudio标注数据导入
- 特征处理：
- -数据合并，包含union、join操作
- -去除重复样本
- -数据变换，包括boxcox转换、二值化、数据类型转换、dct变换、根据函数转换、ma移动平均、多项式展开
- -非数值型变量处理，包括hash、根据统计量转换、one-hot
- -异常值检测
- -获取变量的统计量
- -去除值过于单一的变量
- -删除缺失率过高的值
- -删除缺失率过高的值
- -填充缺失值
- -数据离散化，等宽、等频、聚类离散化
- -标准化、正则化、归一化，有最大绝对值归一化、最大最小归一化、z_score标准化
- -索引处理，包含增加索引、索引转列、列索引重命名
- -排序
- -执行sql
- -hadamard乘积
- -特征组合，用于衍生特征
- -降维，包括pca降维和卡方降维
- -特征重要性，通过随机森林、逻辑回归、xgboost等模型计算特征重要性，可计算特征的iv值、互信息值、方差等
- -特征向量间的相关性计算
- -数据拆分，包括列内拆分、列间拆分、行间拆分、svd奇异值分解
- -采样，包括随机采样、分层采样、过采样、欠采样
- 数据处理工具：
- hadoop模板支持hadfs，hive命令，spark命令，
- volcanojob/ray分布式数据处理,
- 文本处理：
- 清理异常数据，过滤数据，替换隐私数据
- 图像数据处理：
- 图片去噪声，图片缩放，图片标准化，图片裁剪，图片均衡化，图片的空间转换，图片变换(旋转，平移，缩放，翻转
- 传统机器学习：
- ray-sklearn分布式，
- xgb单机训练推理
- 传统机器学习算法：
- ar/arima时间序列算法/random-forest/random-forest-regression/lr/lightgbm/knn/kmean/gbdt/decision-tree/pca/lda/catboost/xgb/超参搜索
- 分布式深度学习框架：
- tf/pytorch/mxnet/horovod/paddlejob/mindspore分布式训练
- 分布式加速框架：
- mpi/colossalai/deepspeed/horovod/megatron
- 模型处理：
- 模型评估，
- 模型格式转换
- 模型服务化：
- 模型注册，
- 模型离线推理，
- 模型注册到aihub
- 模型部署
- 媒体分布式处理：
- 分布式媒体下载，
- 视频提取图片，
- 视频提取图片
|
| 模型训练 |
算子自定义 |
支持算子自定义，通过web界面操作将自定义算法代码镜像，注册为可被他人复用的pipeline算子，自定义任务模板额外支持int型，float型，list型，bool型，json型，子类型支持workdir类型，image类型，支持参数tip提醒 |
| 模型训练 |
自动学习 |
面向非AI背景的用户提供自动学习服务，用户选择某一个场景之后，上传训练数据即可自动开始训练和模型部署，支持示例automl任务流导入导出 |
| 模型训练 |
自定义镜像 |
面向高级 AI 开发者，提供自定义训练作业（执行环境 + 代码）功能； |
| 模型训练 |
自动调参 |
基于单机/分布式自动超参搜索 |
| 模型训练 |
TensorBoard作业 |
实时/离线观察模型训练过程中的参数和指标变化情况 |
| 模型管理 推理服务 |
内部服务 |
支持开发或运维工具快捷部署，提供mysql-web，postgresql web，mobgo web， redis web，neo4j，rstudio等开源工具，支持ollama，xinference大模型推理 |
| 模型管理 推理服务 |
模型管理 |
模型管理用于对模型多版本管理，支持模型发布为推理服务，支持模型指标可视化 |
| 模型管理 推理服务 |
推理服务 |
- 支持ml/tf/pytorch/tentortrt/onnx常规模型的多版本的0代码发布。
- 支持gpu卡型选择，支持vgpu，独占，共享占用，
- 支持cpu/mem/gpu等弹性伸缩，
- 支持服务优先级，
- 支持远程模型路径,支持流量分流，流量复制，sidecar配置，支持泛域名配置，支持配置文件挂载，启动目录/命令/环境变量/端口/指标/健康检查等 支持调试环境/测试环境/生产环境 支持域名/ip代理多种形式
- 支持服务负载指标监控
- 支持多版本服务滚动升级和回滚，
- 支持单pod滚动发布
- 支持禁用k8s service负载均衡器
- 支持大模型分布式推理
- 提供ml/tf/pytorch/tentortrt/onnx常规模型推理服务镜像 支持用户自定义模型推理镜像
- 支持定时伸缩容
- 支持配置服务的jwt认证功能
- 支持推理服务在线测试
|
| 监控 |
整体资源 |
- 所有集群，所有计算机器的使用情况，包括机器的所属集群，所属资源组，机器ip，cpu/gpu类型和卡型，当前cpu/内存/gpu的使用率
- 所有集群，所有计算pod的使用情况，包括pod所属集群，所属资源组，所属命名空间，调度ip，pod名称，启动用户，cpu，gpu，内存的申请使用率
- 整体资源页面，支持管理员批量删除
|
| 监控 |
监控体系 |
- 所有机器的gpu资源的使用情况，
- 所有机器的内存/cpu/网络io/磁盘io的负载情况，
- 所有pod的内存/cpu/gpu/网络io负载情况
- 所有推理服务的内存/cpu/gpu/qps/吞吐
- 支持ib流量监控,vgpu负载情况，npu监控
- 支持首页消息提醒，支持企业微信，钉钉，飞书群聊消息推送
|
| 模型应用市场 |
模型应用管理方案 |
- 提供cubestudio sdk，提供模型开发规范和使用规范
|
| 模型应用市场 |
模型应用管理方案 |
|
| 模型应用市场 |
模型应用管理方案 |
|
| 模型应用市场 |
预训练模型 |
- 提供视觉，听觉，nlp，多模态等400+预训练模型，提供预训练模型的模型加载和推理能力，可直接一键部署服务，并提供api
|
| 模型应用市场 |
模型市场 |
- aihub应用对接cube-studio平台进行卡片式展示
|
| 模型应用市场 |
模型一键开发 |
- 提供一键转notebook开发，提供符合当前模型所需环境的jupyter
|
| 模型应用市场 |
模型一键微调 |
- 支持一键转pipeline微调链路，包括示例数据集下载，微调，模型注册，模型部署，支持微调后模型部署
|
| 模型应用市场 |
模型一键部署web |
- 提供模型一键部署提供手机端和pc端web界面和api，和demo示例弹窗演示
|
| 模型应用市场 |
模型自动化标注 |
|
| 模型应用市场 |
数据集sdk |
- 支持通过python sdk搜索上传下载数据集，支持数据集的加解密/解压缩/数据集基础信息查看等
|
| 模型应用市场 |
notebook sdk |
- 支持通过api，对接cube-studio创建notebook，并跳转到指定目录，用于其他算法平台在当前平台的调试和演示
|
| 模型应用市场 |
pipeline训练sdk |
- 支持AI开发主流语言 Python，提供Python SDK支持用户通过SDK来进行pipeline任务流管理和训练任务启动以及任务流编排
|
| 模型应用市场 |
推理服务sdk |
- 提供python sdk，对接cube tudio进行推理服务的发布，服务升级
|
| 大模型 |
大模型分布式多机多卡 |
- 分布式多机多卡训练和加速框架：mpi/colossalai/deepspeed/horovod/megatron/mindformer/mxnet/paddlejob/mindspore/分布式训练
|
| 大模型 |
支持大模型推理aihub形式 |
- 支持openjourney/gpt3/yuan/sd-v2/sd-v1.5/Stable Cascade/Stable Diffusion XL/chatglm/chatglm2/chatglm3/llama/llama2/chinese-llama2/chinese-alpaca/llama2-chinese/qwen/baichuan2/gemma/yi/aquilachat2部署
|
| 大模型 |
支持大模型推理 |
- 支持vllm大模型推理，支持推理加速+流式openai接口
- 支持分布式多机多卡vllm大模型推理
- 支持mindie昇腾大模型推理服务 支持 910b和310p算力，
- 支持mindie分布式推理
- deepseek，qwen2，chatglm4等模型推理示例
- 支持llm大模型服务对话测试
- 支持open-webui sidecar
- 支持npu适配的vllm推理
- 支持大模型网关，支持统一入口，秘钥设定，限速，黑白名单，token限制，监控，有效期设定，多类型秘钥认证，重试，提示词模板，参数值映射，参数值固化
|
| 大模型 |
支持大模型微调 |
- 支持deepseek/chatglm4/qwen2/llama3 lora微调, mindformers微调模型，支持llama-factory 大模型sft/奖励模型/强化学习，支持npu适配的llama-factory ,支持大模型量化功能
|
| 大模型 |
智能对话 |
- 提供支持多场景对话，支持提示词构建，推理接口配置，llm问答，支持问询中模型切换，清理，历史上下文
|
| 大模型 |
私有知识库 |
|
| 大模型 |
私有知识库 |
|
| 大模型 |
私有知识库 |
|
| 大模型 |
私有知识库 |
|
| 大模型 |
私有知识库 |
|
| 大模型 |
私有知识库 |
|
15
0
已为社区贡献18条内容
所有评论(0)