Orchestra-Research/AI-Research-SKILLs - オンラインツール

オンラインツール

オンラインツール

反馈

オンラインツール

ホーム話題

ライブラリコードベースお店

詳細表示

Agent Skills › Orchestra-Research/AI-Research-SKILLs

Orchestra-Research/AI-Research-SKILLs

GitHub

基于LitGPT框架实现和训练大语言模型，支持Llama、Phi等20+预训练架构。提供单文件清晰实现及生产级LoRA/QLoRA微调工作流，适用于模型理解与高效微调场景。

96 skills 13,089

GitHub

Install All Skills

npx skills add Orchestra-Research/AI-Research-SKILLs --all -g -y

More Options

List skills in collection

npx skills add Orchestra-Research/AI-Research-SKILLs --list

Skills in Collection (96)

Showing top 50 of 96 by quality score. Use the install list command or open individual skills for the rest.

implementing-llms-litgpt

基于LitGPT框架实现和训练大语言模型，支持Llama、Phi等20+预训练架构。提供单文件清晰实现及生产级LoRA/QLoRA微调工作流，适用于模型理解与高效微调场景。

需要加载或运行预训练LLM 执行LoRA或全量微调任务获取清晰的LLM代码实现

01-model-architecture/litgpt/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill implementing-llms-litgpt -g -y

Dependencies: litgpt torch transformers

mamba-architecture

介绍Mamba选择性状态空间模型架构，提供安装、基础使用及预训练模型加载指南。涵盖Mamba-1与Mamba-2配置，支持长序列高效推理与文本生成任务。

需要构建或微调基于Mamba架构的语言模型查询Mamba-1和Mamba-2的配置差异从HuggingFace加载预训练的Mamba模型

01-model-architecture/mamba/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill mamba-architecture -g -y

Dependencies: mamba-ssm torch transformers causal-conv1d

nanogpt

提供极简GPT训练实现，支持Shakespeare字符级训练、GPT-2复现及微调。涵盖数据准备、模型配置与生成流程，旨在帮助理解Transformer架构原理。

学习Transformer或GPT内部机制复现GPT-2模型效果基于自定义数据集进行文本生成模型训练

01-model-architecture/nanogpt/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill nanogpt -g -y

Dependencies: torch transformers datasets tiktoken wandb

rwkv-architecture

RWKV技能提供RNN与Transformer混合架构的使用指南，支持并行训练与线性时间推理。涵盖安装、流式文本生成、超长上下文处理及微调流程，实现无限上下文与恒定内存消耗。

需要高效长文本处理的场景 RWKV模型的安装与配置 RWKV模型的微调任务对比RWKV与Transformer性能

01-model-architecture/rwkv/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill rwkv-architecture -g -y

Dependencies: rwkv torch transformers

distributed-llm-pretraining-torchtitan

提供基于PyTorch的分布式LLM预训练能力，支持FSDP2、TP等4D并行策略，适用于大规模GPU集群上的模型训练与检查点管理。

需要大规模分布式训练LLM 配置多节点GPU并行训练任务使用TorchTitan进行模型预训练

01-model-architecture/torchtitan/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill distributed-llm-pretraining-torchtitan -g -y

Dependencies: torch>=2.6.0 torchtitan>=0.2.0 torchao>=0.5.0

huggingface-tokenizers

提供高性能NLP分词工具，支持Rust实现的高速文本处理、自定义Tokenizer训练及与Transformers无缝集成。适用于需要快速分词、批量编码或构建生产级NLP管道的场景。

需要高性能文本分词训练自定义分词器构建NLP数据处理管道

02-tokenization/huggingface-tokenizers/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill huggingface-tokenizers -g -y

Dependencies: tokenizers transformers datasets

sentencepiece

SentencePiece 是无监督语言无关分词器，支持 BPE 和 Unigram 算法。适用于多语言、CJK 及需可重现分词的场景，具备高性能与低内存占用特性。

需要构建多语言模型处理中文/日文/韩文等 CJK 文本需要确定性或可重现的分词结果对部署体积和推理速度有严格要求

02-tokenization/sentencepiece/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill sentencepiece -g -y

Dependencies: sentencepiece transformers

axolotl

提供Axolotl大模型微调专家指导，涵盖YAML配置、LoRA/QLoRA及多模态支持。辅助用户进行模型训练、调试代码、优化性能及学习最佳实践，适用于LLM开发场景。

使用Axolotl进行大模型微调询问Axolotl特性或API 实现Axolotl解决方案调试Axolotl代码

03-fine-tuning/axolotl/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill axolotl -g -y

Dependencies: axolotl torch transformers datasets peft accelerate deepspeed

llama-factory

提供LLaMA-Factory大语言模型微调专家指导，涵盖WebUI无代码操作、多模型支持及QLoRA等技术。用于解答功能API疑问、实现微调方案、调试代码及学习最佳实践。

使用llama-factory进行开发询问llama-factory功能或API 实现llama-factory解决方案调试llama-factory代码

03-fine-tuning/llama-factory/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill llama-factory -g -y

Dependencies: llmtuner torch transformers datasets peft accelerate gradio

peft-fine-tuning

提供LLM参数高效微调指南，涵盖LoRA、QLoRA等25+方法。适用于显存受限下训练7B-70B大模型，通过仅更新不到1%的参数实现快速迭代与多适配器部署，平衡性能与资源消耗。

使用LoRA或QLoRA微调大型语言模型在GPU显存不足时进行大模型训练需要为不同任务部署多个轻量级适配器

03-fine-tuning/peft/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill peft-fine-tuning -g -y

Dependencies: peft>=0.13.0 transformers>=4.45.0 torch>=2.0.0 bitsandbytes>=0.43.0

unsloth

提供 Unsloth 快速微调 LLM 的专家指导，涵盖加速训练、内存优化及 LoRA/QLoRA 配置，辅助开发、调试与最佳实践学习。

使用 Unsloth 进行模型微调咨询 Unsloth API 或功能实现 Unsloth 解决方案调试 Unsloth 代码

03-fine-tuning/unsloth/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill unsloth -g -y

Dependencies: unsloth torch transformers trl datasets peft

nnsight-remote-interpretability

提供nnsight库的使用指南，支持PyTorch模型内部结构的解释与操控。允许通过NDIF远程执行大型模型（70B+）的可解释性实验，实现本地小模型与远程大模型的统一代码运行。

需要分析大型语言模型内部激活或注意力机制需要在无本地GPU资源的情况下运行可解释性实验需要对PyTorch模型进行干预或修改内部状态

04-mechanistic-interpretability/nnsight/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill nnsight-remote-interpretability -g -y

Dependencies: nnsight>=0.5.0 torch>=2.0.0

pyvene-interventions

提供基于pyvene库对PyTorch模型进行因果干预的指导，支持因果追踪、激活修补和互换干预训练等实验，用于验证模型行为的因果假设。

需要进行因果追踪或定位分析执行激活修补实验开展互换干预训练测试关于模型组件的因果假设

04-mechanistic-interpretability/pyvene/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill pyvene-interventions -g -y

Dependencies: pyvene>=0.1.8 torch>=2.0.0 transformers>=4.30.0

sparse-autoencoder-training

提供使用SAELens训练和分析稀疏自编码器（SAEs）的指导，将神经网络激活分解为可解释特征。适用于发现模型中的可解释特征、分析超位现象及研究单语义表示。

发现神经网络的 interpretable features 分析 superposition 和 feature geometry 研究语言模型中的 monosemantic representations

04-mechanistic-interpretability/saelens/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill sparse-autoencoder-training -g -y

Dependencies: sae-lens>=6.0.0 transformer-lens>=2.0.0 torch>=2.0.0

transformer-lens-interpretability

提供TransformerLens库使用指南，支持通过HookPoints和激活缓存检查、操纵Transformer内部机制，适用于逆向工程算法、研究注意力模式及执行激活修补实验等可解释性研究任务。

逆向工程模型训练学到的算法研究注意力模式和信息流执行激活修补或因果追踪实验分析神经网络电路

04-mechanistic-interpretability/transformer-lens/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill transformer-lens-interpretability -g -y

Dependencies: transformer-lens>=2.0.0 torch>=2.0.0

nemo-curator

NVIDIA GPU加速LLM训练数据策展工具，支持文本/图像/视频/音频。提供模糊去重、质量过滤、语义去重、PII脱敏及NSFW检测，适用于清洗网络数据和准备高质量训练集。

准备LLM训练数据集大规模数据去重与清洗多模态数据处理低质量或有害内容过滤

05-data-processing/nemo-curator/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill nemo-curator -g -y

Dependencies: nemo-curator cudf dask rapids

ray-data

Ray Data 是用于 ML/AI 工作负载的分布式数据处理库。支持大规模数据集处理、流式执行、GPU 加速及多模态数据加载。适用于训练数据预处理、批量推理管道构建及跨集群的分布式 ETL 流程，可无缝集成 PyTorch/TensorFlow 等框架。

需要处理超过 100GB 的大规模数据集构建机器学习训练或批量推理的数据管道需要在集群上分布式执行数据预处理或 ETL 任务加载和处理图像、音频等多模态数据

05-data-processing/ray-data/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill ray-data -g -y

Dependencies: ray[data] pyarrow pandas

grpo-rl-training

提供基于TRL库的GRPO强化学习微调专家指导，涵盖算法原理、奖励函数设计及数据集准备流程，用于提升模型推理能力与格式约束。

需要进行大模型强化学习微调需要自定义奖励函数优化模型输出使用TRL库实现GRPO算法

06-post-training/grpo-rl-training/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill grpo-rl-training -g -y

Dependencies: transformers>=4.47.0 trl>=0.14.0 datasets>=3.2.0 peft>=0.14.0 torch

miles-rl-training

提供miles企业级RL训练指导，适用于大规模MoE模型训练、FP8/INT4量化及推理对齐等场景。

训练大规模MoE模型需要FP8或INT4量化训练要求训练与推理严格对齐使用miles框架进行强化学习

06-post-training/miles/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill miles-rl-training -g -y

Dependencies: sglang-router>=0.2.3 ray torch>=2.0.0 transformers>=4.40.0

openrlhf-training

基于Ray和vLLM的高性能RLHF训练框架，支持PPO、GRPO、DPO等算法，用于7B-70B+大模型的分布式强化学习微调。

需要加速大模型RLHF训练执行PPO或DPO对齐任务

06-post-training/openrlhf/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill openrlhf-training -g -y

Dependencies: openrlhf ray vllm torch transformers deepspeed

simpo-training

SimPO是一种无需参考模型的偏好优化方法，用于大语言模型对齐。提供安装及针对基础/指令/推理模型的训练工作流，配置更简单高效，性能优于DPO。

需要为LLM进行偏好对齐或指令微调希望使用比DPO/PPO更简单高效的训练方案拥有选择/拒绝偏好数据但无参考模型

06-post-training/simpo/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill simpo-training -g -y

Dependencies: torch transformers datasets trl accelerate

slime-rl-training

提供基于slime框架进行LLM强化学习后训练的指南，集成Megatron-LM与SGLang，支持GLM等模型训练、自定义数据生成及大规模RL扩展。

需要LLM强化学习后训练指导使用slime框架进行GLM/Qwen等模型训练实现Megatron-LM与SGLang集成的RL工作流

06-post-training/slime/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill slime-rl-training -g -y

Dependencies: sglang-router>=0.2.3 ray torch>=2.0.0 transformers>=4.40.0

torchforge-rl-training

提供基于PyTorch的强化学习库torchforge使用指南，支持算法与基础设施分离、分布式训练及GRPO等算法实验，适用于RL研究与模型训练。

需要PyTorch原生的强化学习框架进行RL算法实验或分布式训练使用torchforge库进行模型开发

06-post-training/torchforge/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill torchforge-rl-training -g -y

Dependencies: torch>=2.9.0 torchtitan>=0.2.0 vllm monarch

fine-tuning-with-trl

提供使用TRL库进行大语言模型强化学习微调的指南，涵盖SFT、DPO、PPO及奖励模型训练等RLHF流程。

需要对人机偏好对齐的大模型进行微调执行RLHF流程如SFT或DPO训练配置Transformer Reinforcement Learning环境

06-post-training/trl-fine-tuning/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill fine-tuning-with-trl -g -y

Dependencies: trl transformers datasets peft accelerate torch

verl-rl-training

指导使用verl库进行大规模LLM强化学习训练，支持PPO、GRPO等算法及多后端切换。适用于RLHF、数学推理模型训练及Agentic工作流的后训练优化场景。

需要训练LLM的强化学习算法如PPO或GRPO 实施RLHF或后训练优化流程配置大规模分布式RL训练环境

06-post-training/verl/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill verl-rl-training -g -y

Dependencies: verl>=0.3.0 torch>=2.0.0 ray>=2.41.0 vllm>=0.8.2 transformers>=4.40.0

constitutional-ai

基于Anthropic Constitutional AI方法，通过自我批评和AI反馈训练无害模型。包含监督学习与RLAIF两阶段工作流，无需人工标注即可实现安全对齐与有害输出抑制。

需要训练或优化大语言模型的安全性希望减少模型生成有害、偏见或毒性内容寻求替代人类标注的安全对齐方案

07-safety-alignment/constitutional-ai/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill constitutional-ai -g -y

Dependencies: transformers torch trl

llamaguard

LlamaGuard是Meta的内容安全过滤模型，用于检测输入输出中的暴力、色情等违规内容。提供API集成与vLLM部署方案，保障AI交互合规性。

需要过滤用户提示词中的安全风险需要审核AI生成内容的合规性

07-safety-alignment/llamaguard/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill llamaguard -g -y

Dependencies: transformers torch vllm

nemo-guardrails

NVIDIA NeMo Guardrails 运行时安全框架，通过可编程规则实现 LLM 应用的输入输出验证、越狱检测、事实核查及 PII 过滤。

需要为 LLM 应用添加安全防护检测并拦截提示词注入或越狱攻击验证模型输出的事实准确性或毒性

07-safety-alignment/nemo-guardrails/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill nemo-guardrails -g -y

Dependencies: nemoguardrails

prompt-guard

Prompt Guard是Meta推出的轻量级分类器，用于检测LLM应用中的提示注入和越狱攻击。它支持多语言，具备高召回率和低误报率，可快速部署以过滤恶意用户输入及第三方数据（如RAG文档），保障AI应用安全。

需要防护LLM免受提示注入攻击对用户上传内容进行恶意意图检测清洗RAG检索结果或API返回的潜在危险数据

07-safety-alignment/prompt-guard/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill prompt-guard -g -y

Dependencies: transformers torch

huggingface-accelerate

HuggingFace Accelerate 是用于简化 PyTorch 分布式训练的库，支持多 GPU/TPU、混合精度及 DeepSpeed/FSDP 等后端。通过少量代码修改即可实现自动设备放置和并行训练配置。

需要加速 PyTorch 模型训练配置多 GPU 或分布式环境启用混合精度训练 (FP16/BF16) 集成 DeepSpeed 或 FSDP

08-distributed-training/accelerate/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill huggingface-accelerate -g -y

Dependencies: accelerate torch transformers

deepspeed

提供 DeepSpeed 分布式训练专家指导，涵盖 ZeRO、混合精度及 DeepNVMe 等特性。用于配置环境、实现优化方案、调试代码及学习最佳实践。

使用 DeepSpeed 进行分布式训练询问 DeepSpeed 功能或 API 实现 DeepSpeed 解决方案调试 DeepSpeed 代码学习 DeepSpeed 最佳实践

08-distributed-training/deepspeed/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill deepspeed -g -y

Dependencies: deepspeed torch transformers accelerate

training-llms-megatron

使用NVIDIA Megatron-Core训练2B至462B参数的大语言模型，支持多种并行策略以最大化GPU效率。适用于大规模LLM分布式训练场景。

需要训练参数量大于10亿的大语言模型追求H100 GPU上的最高计算利用率需要配置张量、流水线或专家并行等高级并行策略

08-distributed-training/megatron-core/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill training-llms-megatron -g -y

Dependencies: megatron-core torch apex transformer-engine

pytorch-fsdp2

指导在PyTorch训练脚本中正确集成FSDP2，处理模型分片、混合精度及分布式检查点。适用于单卡显存不足或需DTensor分片的场景。

模型超出单GPU显存限制需要基于DTensor的参数级分片配置FSDP2初始化与检查点

08-distributed-training/pytorch-fsdp2/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill pytorch-fsdp2 -g -y

Dependencies: torch

pytorch-lightning

PyTorch Lightning高级训练框架，通过Trainer类简化代码结构，自动处理分布式训练、混合精度、日志记录及检查点等繁琐流程，实现从笔记本到超算的无缝扩展。

需要简化PyTorch训练循环逻辑配置多GPU或分布式训练环境管理模型训练中的日志与检查点

08-distributed-training/pytorch-lightning/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill pytorch-lightning -g -y

Dependencies: lightning torch transformers

ray-train

用于在集群中编排分布式机器学习训练，支持PyTorch、TensorFlow和HuggingFace框架。具备弹性扩展、容错、超参数调优及故障恢复能力，适用于大规模模型训练和多机分布式场景。

需要跨多个节点或GPU进行大规模模型训练执行分布式超参数搜索或 sweeps 将单节点训练代码扩展为多节点分布式训练

08-distributed-training/ray-train/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill ray-train -g -y

Dependencies: ray[train] torch transformers

lambda-labs-gpu-cloud

Lambda Labs GPU云使用指南，涵盖账号配置、实例启动、SSH连接及GPU选型。提供B200/H100等硬件规格与价格对比，介绍预装ML环境的Lambda Stack及多节点集群功能，适用于大规模模型训练与推理任务。

需要租用GPU实例进行深度学习训练或推理查询不同型号GPU的价格和显存配置配置Lambda Stack环境或启动多节点Slurm集群

09-infrastructure/lambda-labs/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill lambda-labs-gpu-cloud -g -y

Dependencies: lambda-cloud-client>=1.0.0

skypilot-multi-cloud-orchestration

SkyPilot多云ML工作负载编排技能，支持跨云自动成本优化、Spot实例自动恢复及分布式训练。用于在AWS/GCP/Azure等20+云平台统一调度GPU任务，避免供应商锁定并降低算力成本。

需要跨多个云平台运行机器学习训练或批量作业希望通过自动选择最便宜区域或使用Spot实例来优化GPU成本需要管理具有自动恢复功能的长时间分布式多节点训练任务

09-infrastructure/skypilot/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill skypilot-multi-cloud-orchestration -g -y

Dependencies: skypilot>=0.7.0

awq-quantization

AWQ技能用于大模型4-bit量化，在有限GPU内存下部署7B-70B模型。通过感知激活值保留关键权重，实现3倍推理加速且精度损失小于5%。适用于vLLM生产环境及Ampere+ GPU，比GPTQ和bitsandbytes更具优势。

需要4-bit量化以节省显存追求推理速度提升部署大型语言模型平衡精度与性能

10-optimization/awq/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill awq-quantization -g -y

Dependencies: autoawq transformers>=4.45.0 torch>=2.0.0

quantizing-models-bitsandbytes

提供使用bitsandbytes对LLM进行8-bit或4-bit量化的指南，旨在GPU内存受限时降低显存占用并加速推理，支持QLoRA训练。

需要减少LLM显存占用在有限GPU资源上加载大模型希望提升模型推理速度

10-optimization/bitsandbytes/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill quantizing-models-bitsandbytes -g -y

Dependencies: bitsandbytes transformers accelerate torch

optimizing-attention-flash

提供Flash Attention集成指南，通过IO感知优化Transformer注意力机制，实现2-4倍加速与显著显存节省。适用于长序列训练推理及GPU内存瓶颈场景。

Transformer模型性能优化解决GPU显存不足问题提升长序列处理速度

10-optimization/flash-attention/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill optimizing-attention-flash -g -y

Dependencies: flash-attn torch transformers

gguf-quantization

提供GGUF格式模型在llama.cpp中的量化、转换及推理指南，支持CPU和Apple Silicon高效部署。

模型量化本地AI部署 llama.cpp使用

10-optimization/gguf/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill gguf-quantization -g -y

Dependencies: llama-cpp-python>=0.2.0

gptq

提供LLM后训练4-bit量化方案，用于在消费级GPU上部署大模型，实现内存降低4倍且精度损失极小，同时提升3-4倍推理速度。

需要在有限显存的GPU上部署70B以上的大语言模型需要对现有LLM进行4-bit量化以优化推理速度和内存占用

10-optimization/gptq/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill gptq -g -y

Dependencies: auto-gptq transformers optimum peft

hqq-quantization

提供无需校准数据的LLM快速权重量化能力，支持1-8bit精度及多后端加速。适用于vLLM/Transformers部署、LoRA微调及极端量化场景，解决传统方法需大量数据且耗时的问题。

需要对大模型进行低比特量化（如2/3/4-bit）缺乏校准数据集但需快速量化模型在vLLM或HuggingFace中部署量化模型对量化后的模型进行LoRA微调

10-optimization/hqq/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill hqq-quantization -g -y

Dependencies: hqq>=0.2.0 torch>=2.0.0

ml-training-recipes

提供PyTorch训练配方，涵盖模型选型、优化器配置、混合精度及调试技巧。适用于神经网络训练微调、损失异常排查及GPU性能优化。

训练或微调神经网络调试Loss尖峰或OOM错误选择合适模型架构优化GPU吞吐量

10-optimization/ml-training-recipes/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill ml-training-recipes -g -y

Dependencies: torch>=2.0.0

evaluating-code-models

用于评估代码生成模型在HumanEval等基准测试上的性能，支持多语言及pass@k指标分析。

评测代码生成模型能力对比不同模型的编码水平验证多语言代码生成质量运行BigCode基准测试

11-evaluation/bigcode-evaluation-harness/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill evaluating-code-models -g -y

Dependencies: bigcode-evaluation-harness transformers>=4.25.1 accelerate>=0.13.2 datasets>=2.6.1

evaluating-llms-harness

用于评估LLM在60多个学术基准（如MMLU、GSM8K）上的表现，支持模型质量对比、训练进度追踪及学术结果报告。

需要评估大语言模型在标准基准测试中的性能比较不同模型或版本的能力差异追踪模型训练过程中的指标变化

11-evaluation/lm-evaluation-harness/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill evaluating-llms-harness -g -y

Dependencies: lm-eval transformers vllm

llama-cpp

llama.cpp 是纯 C/C++ 大模型推理引擎，专为 CPU、Apple Silicon 及非 NVIDIA GPU 优化。支持 GGUF 量化以节省内存并提升速度，适用于边缘部署或无 CUDA 环境，提供 CLI 聊天与 OpenAI 兼容 API 服务。

需要在 CPU 或非 NVIDIA GPU（如 AMD/Intel）上运行 LLM 推理在 Apple Silicon (M1/M2/M3) 设备上部署本地大模型进行边缘设备（如 Raspberry Pi）的大模型部署需要轻量级、无 Python/Docker 依赖的本地推理方案

12-inference-serving/llama-cpp/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill llama-cpp -g -y

Dependencies: llama-cpp-python

sglang

SGLang 是高性能 LLM/VLM 推理服务框架，支持 RadixAttention 前缀缓存。适用于需要结构化输出（JSON/正则）、智能体工作流及多轮对话共享上下文的场景，提供比 vLLM 更快的推理速度。

需要结构化 JSON 或正则约束输出构建带有重复前缀的智能体工作流需要快速的多轮对话上下文共享

12-inference-serving/sglang/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill sglang -g -y

Dependencies: sglang torch transformers

tensorrt-llm

用于在NVIDIA GPU上优化大模型推理性能，提供高吞吐、低延迟及量化支持。适用于生产环境部署、多GPU扩展及FP8/INT4量化场景，替代PyTorch实现10-100倍加速。

需要最大化LLM推理吞吐量要求极低延迟的实时应用使用NVIDIA GPU进行生产部署需要对模型进行量化（FP8/INT4）

12-inference-serving/tensorrt-llm/SKILL.md

npx skills add Orchestra-Research/AI-Research-SKILLs --skill tensorrt-llm -g -y

Dependencies: tensorrt-llm torch

据说喜欢分享的,后来都成了大神

国别域名注册8折优惠

vultr activity

tencent

女为悦己者容，男为悦己者穷!

文库

更多

ホーム - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-09-30 02:38
浙ICP备14020137号-1