HanGuang 含光 · 算力控制台

含光 AI 机队调度台

实时观测节点负载、统一内存与 Token 消耗。设备卡片标注推理与媒体服务能力。

刷新状态

复制 Base URL

在线节点

{{ devices.length }} 台编入机队

调度中

{{ hotCount }} 台高负载

最大总并发

机队承载极限 · 当前占用 {{ fmtInt(gateway.inflight || 0) }}

Token 总消耗

部分对话累计

集群算力负载 · 计算单元

统一内存 %

单位消耗 · tok/min

网关并发占用

机队平均延迟

调度压分布

设备矩阵

服务能力 · 统一内存 · 调度态 · 点击查看详情

{{ d.device_id || ('base-' + d.base) }} base {{ d.base }} · {{ d.latency_ms ?? '-' }} ms

{{ d.model?.served_model_name || d.model?.default_model || '未挂载模型' }}

vLLM {{ d.vllm_version || '—' }}

计算单元

统一内存

Token 总消耗

{{ busyLabel(d) }}· 调度压 {{ busyScore(d) }}· {{ tempText(d) }}

WebUI Console Models

没有匹配的设备

{{ selectedDevice.device_id }} · 计算单元

{{ selectedDevice.device_id }} · 统一内存 / 温度

{{ selectedDevice.device_id }} · 单位消耗 tok/min

{{ selectedDevice.device_id }} · 延迟

设备状态

API{{ selectedDevice.api_online ? 'UP' : 'DOWN' }}

Console{{ selectedDevice.console_online ? 'UP' : 'DOWN' }}

调度态{{ busyLabel(selectedDevice) }}

延迟{{ selectedDevice.latency_ms ?? '-' }} ms

vLLM{{ selectedDevice.vllm_version || '-' }}

温度{{ tempText(selectedDevice) }}

Token 总消耗{{ fmtTokens(selectedDevice.gateway?.tokens || 0) }}（输入+输出）

模型

Served{{ selectedDevice.model?.served_model_name || '-' }}

Root{{ selectedDevice.model?.default_model || '-' }}

Max Len{{ selectedDevice.model?.max_model_len || '-' }}

产品服务

{{ s.label }} {{ serviceStatusLabel(s) }}

系统单元

{{ s.name || s.unit }} {{ s.active_state || s.active || s.state || '-' }}

接口网关

OpenAI 兼容入口 · 模型路由索引

Base URL

复制

{{ baseUrl }}

Models

打开

{{ modelsUrl }}

Chat Completions

复制

{{ chatUrl }}

单位消耗趋势 · tok/min

暂无可路由模型

{{ pair[0] }}路由：{{ Array.isArray(pair[1]) && pair[1].length ? pair[1].join(' / ') : '-' }}

Token 消耗统计

按 {{ tokenPeriodLabel }} 汇总 · 输入 + 输出（{{ logTimezone }}）

总消耗

输入+输出

输入

prompt

输出

completion

调用次数

{{ tokenSeries.length }} 个{{ tokenPeriodLabel }}

趋势

{{ tokenPeriodLabel }}	总 Tokens	输入	输出	调用	设备明细
{{ row.label \|\| row.key }}	{{ fmtTokens(row.total_tokens) }}	{{ fmtTokens(row.prompt_tokens) }}	{{ fmtTokens(row.completion_tokens) }}	{{ fmtInt(row.calls) }}	{{ formatTokenDevices(row.by_device) }}

对话日志

按天落盘 · 覆盖全部观测设备（{{ logTimezone }}）

时间	设备	用户提问	模型回复	状态
{{ fmtLogTime(item) }}	{{ item.device_id \|\| '-' }} {{ item.model \|\| '-' }}	{{ item.user_preview \|\| '（无文本）' }}	{{ item.assistant_preview \|\| '（无文本）' }}	{{ item.status_code ?? '-' }} stream {{ item.response_ms != null ? (item.response_ms + ' ms') : '-' }} · {{ fmtTokens(item.total_tokens \|\| ((item.prompt_tokens\|\|0)+(item.completion_tokens\|\|0))) }}