v0.1.0 · macOS ARM64

本地推理
从未如此简单

SuperLLM 是一个原生桌面应用,让你在本机轻松运行和管理 LLM 推理服务——无需折腾环境,双击即用。

下载 SuperLLM 5.7 MB GitHub
5.7 MB
单文件体积
5 套
内置主题
即开即用
无需依赖环境

一站式 LLM 工具箱

从模型搜索下载到推理服务部署,全在本地完成。

服务管理
集成 llama.cpp,子进程管理 llama-server,多实例并行运行,实时日志查看,OpenAI 兼容 API 转发。
模型市场
HuggingFace 模型搜索,多量化版本下载,进度实时监控,支持国内镜像源切换。
硬件评估
CPU/RAM/GPU 自动检测,模型适配评分,运行模式推荐,预估推理速度,支持 Apple Silicon 统一内存。
性能基准
合成估算 + 真实推理双模式,自动匹配社区基准对比,历史记录持久化,实测生成速度。
模型测试
与运行中的模型实时对话,流式输出,思考过程折叠展示,AES-256 加密存储聊天记录。
5 套主题
深空霓虹青 / Apple 毛玻璃 / 极简黑白 / Google Material / TRAE 紫,深浅色自由切换。

单文件 · 零依赖

前端静态文件编译进二进制,双击 .app 即起,开箱即用。

SuperLLM.app
WKWebView + Rust 后端
内嵌 WebView 显示前端页面,Rust axum 服务监听 127.0.0.1:9095
Vue 3 · Vite
Element Plus UI · Pinia 状态管理 · ECharts 图表
Rust · axum · tokio
硬件检测 · 模型评估 · 子进程管理 · HTTP 代理
核心引擎
llama.cpp
子进程管理 llama-server · OpenAI 兼容 API · 多后端路径配置

技术参数

现仅支持 macOS ARM64,跨平台支持开发中。

桌面框架
tao 0.32 + wry 0.50 原生窗口,rust-embed 嵌入静态资源
构建工具
Rust 1.75+ · Node 18+ · Vite 6 · cargo build --release
后端
axum 0.8 + tokio · sysinfo + nvml-wrapper 硬件检测
体积
SuperLLM.app ~5.7 MB · 单文件分发 · 无外部依赖
存储安全
聊天记录 AES-256 加密 · 配置持久化 ~/.cache/superllm/
推理引擎
llama.cpp 子进程管理 · OpenAI 兼容 API · 多实例并行
开始使用
下载 SuperLLM,在本地运行你的第一个模型只需两步。
下载 SuperLLM macOS ARM64 · 5.7 MB 查看源码
需要 macOS 14+ · Apple Silicon 芯片