gandalf/secubox-openwrt
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
f447f62b13
secubox-openwrt/package/secubox/secubox-app-localai/README.zh.md
CyberMind-FR ccfb58124c docs: Add trilingual documentation (French and Chinese translations) 
Add complete French (fr) and Chinese (zh) translations for all documentation:

- Root files: README, CHANGELOG, SECURITY, BETA-RELEASE
- docs/: All 16 core documentation files
- DOCS/: All 19 deep-dive documents including embedded/ and archive/
- package/secubox/: All 123+ package READMEs
- Misc: secubox-tools/, scripts/, EXAMPLES/, config-backups/, streamlit-apps/

Total: 346 translation files created

Each file includes language switcher links for easy navigation between
English, French, and Chinese versions.

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
2026-03-20 10:00:18 +01:00

3.0 KiB
Raw Blame History

English | Francais | 中文

SecuBox LocalAI

原生 LLM 服务器，具有兼容 OpenAI 的 REST API。支持 ARM64 和 x86_64 上的 GGUF 模型。

版本：3.9.0

功能特性

  • 兼容 OpenAI 的 REST API（/v1/chat/completions、/v1/completions、/v1/embeddings）
  • GGUF 模型支持（LLaMA、Mistral、Phi、TinyLlama 等）
  • ARM64 和 x86_64 架构
  • Agent Jobs 面板（v3.9）-- 调度和管理后台代理任务
  • 内存回收器（v3.9）-- 已加载模型的 LRU 驱逐
  • 嵌入向量支持（GTE-Small 预设）

安装

opkg install secubox-app-localai

# 下载二进制文件（首次运行）
localaictl install

# 安装模型
localaictl model-install tinyllama

# 启用并启动服务
uci set localai.main.enabled=1
uci commit localai
/etc/init.d/localai enable
/etc/init.d/localai start

配置

UCI 配置文件：/etc/config/localai

config localai 'main'
    option enabled '0'
    option api_port '8081'
    option api_host '0.0.0.0'
    option models_path '/srv/localai/models'
    option threads '4'
    option context_size '2048'

模型预设

预设 大小 描述
tinyllama 669MB TinyLlama 1.1B（聊天）
phi2 1.6GB Microsoft Phi-2（聊天）
mistral 4.1GB Mistral 7B Instruct（聊天）
gte-small 67MB GTE Small（嵌入向量） 
localaictl model-install tinyllama
localaictl model-install gte-small   # 用于嵌入向量

CLI 命令

# 安装/卸载
localaictl install          # 从 GitHub 下载二进制文件
localaictl uninstall        # 删除二进制文件

# 服务
localaictl start            # 启动服务
localaictl stop             # 停止服务
localaictl restart          # 重启服务
localaictl status           # 显示状态
localaictl logs [-f]        # 显示日志

# 模型
localaictl models           # 列出已安装的模型
localaictl model-install <name>  # 安装模型
localaictl model-remove <name>   # 删除模型

# 后端
localaictl backends         # 列出可用后端

API 端点

默认端口：8081

端点 描述
/v1/models 列出已加载的模型
/v1/chat/completions 聊天补全
/v1/completions 文本补全
/v1/embeddings 生成嵌入向量
/readyz 健康检查

文件

  • /etc/config/localai -- UCI 配置
  • /usr/sbin/localaictl -- 控制器 CLI
  • /usr/bin/local-ai -- 二进制文件（已下载）
  • /srv/localai/models/ -- 模型存储

依赖

  • libstdcpp
  • libpthread
  • wget-ssl
  • ca-certificates

SecuBox 集成

LocalAI 作为 SecuBox AI Gateway（第 2 层）的推理后端：

  • 本地优先的 LLM 推理
  • 用于代理工具的 MCP Server 集成
  • 支持威胁分析师、CVE 分类和其他自主代理

许可证

MIT

来源