实时算力控制面

统一管理私有模型算力与服务路由

面向校园知识服务的模型基础设施控制台,统一观测设备在线状态、模型目录、GPU 资源和 OpenAI 兼容接入能力。

刷新状态 复制 Base URL
设备总数
{{ devices.length }}
已配置 Spark 节点
在线设备
{{ onlineCount }}
{{ Math.max(0, devices.length - onlineCount) }} 台离线
路由模型
{{ modelCount }}
已注册模型别名数
平均延迟
{{ avgLatency == null ? '-' : avgLatency + 'ms' }}
{{ updatedText }}

设备矩阵

卡片视图一行 4 台,支持切换专业清单

卡片 清单
{{ deviceNumber(index) }}
{{ d.device_id || `base-${d.base}` }}
端口 {{ d.base }} · 延迟 {{ d.latency_ms ?? '-' }} ms
当前模型
{{ d.model?.served_model_name || '-' }}
{{ d.model?.default_model || '' }}
{{ m.id }}
内存 {{ memPercent(d) }}%
硬盘 {{ diskPercent(d) }}%
温度 {{ tempText(d) }}
{{ gpuName(g?.name) }} 显存/KV 占用 {{ gpuMemPercent(g) }}% {{ gpuDetailText(g) }}
{{ d.error }}
没有匹配的设备

接口网关

FastGPT / SDK 接入配置

接入地址复制
{{ baseUrl }}
模型列表打开
{{ modelsUrl }}
对话接口复制
{{ chatUrl }}

运行配置

通过 47 远程修改 Spark 端侧配置

目标设备SSH 生效
最大上下文MAX_MODEL_LEN
并发序列MAX_NUM_SEQS
显存利用率GPU_MEMORY_UTILIZATION
保存并重启 vLLM

模型路由

模型别名到设备的实时索引

暂无可路由模型
{{ alias }} 路由设备:{{ Array.isArray(devs) && devs.length ? devs.join(' / ') : '-' }}
{{ toastText }}