ホーム 話題 library logo ライブラリ コードベース お店
詳細表示
类库 › cactus
cactus-compute

cactus-compute/cactus

Cactus是一个针对移动设备和可穿戴设备的低延迟、高能效AI推理引擎。它提供OpenAI兼容的API接口，支持聊天、视觉、语音识别（STT）、检索增强生成（RAG）等功能，并利用零拷贝计算图和针对ARM架构优化的SIMD内核来实现高性能、低内存占用的模型部署。

4,552 338 4,552 22
在 GitHub 上查看
cactus-compute/cactus

标签

ai android arm edge edge-ai framework ios llamacpp llm llm-inference llms mobile mobile-inference on-device-ai quantiz rag smartphone speech transformer whisper

技术栈

查看全部依赖 (9)

依赖

einops huggingface_hub num2words pillow sentencepiece timm torch torchvision transformers

截图

assets/banner.jpg

相关项目

torvalds
torvalds/linux
Linux内核官方源码仓库，包含Linux操作系统的核心源代码，用于系统开发、驱动编写、内核研究和定制。
224.1k C
netdata
netdata/netdata
Netdata是一个高性能的全栈可观察性工具，提供实时监控和分析，以帮助团队高效管理基础设施和应用性能。
75.6k C
obsproject
obsproject/obs-studio
OBS Studio是一个免费的开源软件，专为视频捕捉、合成、编码、录制和直播而设计。
66.4k C
wg
wg/wrk
wrk是一个现代的HTTP基准测试工具，能够在单个多核CPU上生成大量负载，支持多线程和可扩展的事件通知系统。
39.4k C
bilibili
bilibili/ijkplayer
ijkplayer是一个基于FFmpeg的Android/iOS视频播放器，支持MediaCodec和VideoToolbox，适用于多种设备和操作系统。
33k C
kingToolbox
kingToolbox/WindTerm
WindTerm是一个专业的跨平台SSH/SFTP/Telnet等终端客户端，旨在为DevOps提供高效的命令行体验。
27.7k C

评论

ホーム - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-04 06:53
浙ICP备14020137号-1 $お客様$