本地模型。 一个工作空间。

通过 AioLM 探索 GGUF 模型、管理 llama.cpp 运行时、本地聊天并测量性能。

> powershell -ExecutionPolicy Bypass -Command "irm https://github.com/aiolm/AioLM/releases/latest/download/install.ps1 | iex"
AioLM 桌面应用的运行模型页面,列出了四个公开的 GGUF 演示模型,Qwen3-8B-Instruct 已加载到 llama.cpp 运行时。
AioLM 桌面应用的运行模型页面:在一个窗口中查看本地 GGUF 模型库、已加载的模型及其 llama.cpp 运行时。图中使用的是公开演示模型。

从模型选择到性能测量

为开发者设计的简洁本地大语言模型工作流程。

  1. 选择模型

    发现社区中的 GGUF 模型并添加到模型库。

  2. 按需运行

    管理 llama.cpp 运行时,根据硬件和工作流程调整设置。

  3. 测量与分享

    运行基准测试,结合完整环境查看结果,并与他人分享配置。

常见问题

AioLM 是什么?

AioLM 是 All-in-One LM 的缩写,面向本地语言模型的桌面工作空间,将 GGUF 模型发现、llama.cpp 运行时管理、本地聊天和性能基准测试整合在一个应用中。

AioLM 支持哪些操作系统?

可使用 Windows x64、macOS 13.3 或更新版本(Apple Silicon 和 Intel)以及 Linux x86_64(Ubuntu 24.04 或更新版本)构建。Apple Silicon Mac 可使用 Metal GPU 加速,Intel Mac 使用 CPU 运行模型。各平台的安装指南介绍了发布文件的获取方式。

公开基准测试测量的是什么?

公开基准测试是 AioLM 用户自行测量并分享的结果。每条结果包含硬件、运行时、测量方法和工作负载。比较性能数据前,请先核对测量条件。这些结果并非经过独立验证的性能排名。

浏览基准测试需要账号吗?

浏览公开基准测试不需要账号。发布结果需要完成验证步骤,已发布的结果通过恢复码管理。

了解数据背后的配置

公开的基准测试包含测量方法、工作负载和硬件信息,便于比较不同配置。

浏览基准测试