
CyVisGuard
CyVisGuard是一套开源、自包含的 AI Agent 安全控制平面。它坐在 agent——任何持有凭据、代表他人调用 工具的东西——与它能触及的一切之间,对每一次动作回答:谁在调用、代表谁、这是否还在它被 允许的范围内?
llama.cpp 是知名开源本地大模型推理项目,底层基于 ggml 库,目标是用最简配置,在PC、边缘设备上高效跑LLM与VLM多模态模型,同时也支持云端部署。项目采用纯C/C++编写,无外部依赖,对全平台硬件做深度适配。
llama.cpp 是知名开源本地大模型推理项目,底层基于 ggml 库,目标是用最简配置,在PC、边缘设备上高效跑LLM与VLM多模态模型,同时也支持云端部署。项目采用纯C/C++编写,无外部依赖,对全平台硬件做深度适配。

支持1.5bit、2bit、3bit、4bit、5bit、6bit、8bit多种整型量化,大幅降低显存占用,提升推理速度,GGUF格式现已成为本地模型主流格式。
提供多种部署途径:一键脚本安装、Docker容器、直接下载预编译二进制包、源码编译。
安装完成后,两条核心命令:
# 从Hugging Face直接拉取并运行GGUF模型
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# 启动OpenAI兼容API服务,可供其他应用接入
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
ggml-org同步推出桌面端托盘应用 Llama,分为 Windows 版与 macOS 版,封装 llama.cpp,降低普通用户上手门槛。
Alt+Space全局唤起对话浮窗,无需切换窗口brew install --cask llama-app 或手动安装包部署[http://localhost:9931/v1](http://localhost:9931/v1),兼容OpenAI接口,可供编辑器、Agent调用






