Datawhale推荐
开源项目：llm-engineer-toolkit
编辑：Coggle数据科学团队
在大语言模型（LLM）迅速发展的今天，开发者们面临着海量的资源和工具选择。如何高效地筛选和利用这些资源，成为了每一个 LLM 开发者的关键任务。今天，我们要介绍的 GitHub 仓库——LLM Engineer Toolkit，或许能成为你的得力助手！
https://github.com/KalyanKS-NLP/llm-engineer-toolkit
https://github.com/KalyanKS-NLP/llm-engineer-toolkit
这个由 KalyanKS-NLP 创建的仓库，精心整理了超过 120 个 LLM 相关的库，并按照类别进行了分类。无论是训练、推理、应用开发，还是数据提取、安全评估，你都能在这里找到对应的工具。
unsetunset大模型工具划分unsetunset
展开剩余87%
🚀 LLM Training：专注于 LLM 训练和微调的工具，帮助你更快、更高效地优化模型。
🧱 LLM Application Development：从框架到多 API 接入，再到缓存和低代码开发，为应用开发提供全方位支持。
🩸 LLM RAG：Retrieval-Augmented Generation（检索增强生成）相关的库，提升模型的知识检索能力。
🟩 LLM Inference：推理加速和优化工具，让模型运行更流畅。
🚧 LLM Serving：模型部署和推理服务的解决方案。
📤 LLM Data Extraction：数据提取工具，帮助你从各种来源获取高质量数据。
🌠 LLM Data Generation：生成合成数据，丰富你的训练集。
💎 LLM Agents：构建智能代理，实现自动化任务和多代理协作。
⚖️ LLM Evaluation：评估工具，确保模型性能达到预期。
🔍 LLM Monitoring：监控模型运行状态，及时发现并解决问题。
📅 LLM Prompts：优化和管理提示词，提升模型输出质量。
📝 LLM Structured Outputs：生成结构化输出，让模型结果更易用。
🛑 LLM Safety and Security：保障模型的安全性和可靠性。
💠 LLM Embedding Models：提供先进的文本嵌入模型。
❇️ Others：其他实用工具，涵盖更多开发场景。
🚀 LLM Training：专注于 LLM 训练和微调的工具，帮助你更快、更高效地优化模型。
🧱 LLM Application Development：从框架到多 API 接入，再到缓存和低代码开发，为应用开发提供全方位支持。
🩸 LLM RAG：Retrieval-Augmented Generation（检索增强生成）相关的库，提升模型的知识检索能力。
🟩 LLM Inference：推理加速和优化工具，让模型运行更流畅。
🚧 LLM Serving：模型部署和推理服务的解决方案。
📤 LLM Data Extraction：数据提取工具，帮助你从各种来源获取高质量数据。
🌠 LLM Data Generation：生成合成数据，丰富你的训练集。
💎 LLM Agents：构建智能代理，实现自动化任务和多代理协作。
⚖️ LLM Evaluation：评估工具，确保模型性能达到预期。
🔍 LLM Monitoring：监控模型运行状态，及时发现并解决问题。
📅 LLM Prompts：优化和管理提示词，提升模型输出质量。
📝 LLM Structured Outputs：生成结构化输出，让模型结果更易用。
🛑 LLM Safety and Security：保障模型的安全性和可靠性。
💠 LLM Embedding Models：提供先进的文本嵌入模型。
❇️ Others：其他实用工具，涵盖更多开发场景。
Library
Deion
unsloth Fine-tune LLMs faster with less memory. PEFT State-of-the-art Parameter-Efficient Fine-Tuning library. TRL Train transformer language models with reinforcement learning. Transformers Transformers provides thousands of pretrained models to perform tasks on different modalities such as text, vision, and audio. Axolotl Tool designed to streamline post-training for various AI models. LLMBox A comprehensive library for implementing LLMs, including a unified training pipeline and comprehensive model evaluation. LitGPT Train and fine-tune LLM lightning fast. Mergoo A library for easily merging multiple LLM experts, and efficiently train the merged LLM. Llama-Factory Easy and efficient LLM fine-tuning. Ludwig Low-code framework for building custom LLMs, neural networks, and other AI models. Txtinstruct A framework for training instruction-tuned models. Lamini An integrated LLM inference and tuning platform. XTuring xTuring provides fast, efficient and simple fine-tuning of open-source LLMs, such as Mistral, LLaMA, GPT-J, and more. RL4LMs A modular RL library to fine-tune language models to human preferences. DeepSpeed DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. torchtune A PyTorch-native library specifically designed for fine-tuning LLMs. PyTorch Lightning A library that offers a high-level interface for pretraining and fine-tuning LLMs.
Library
Deion
unsetunsetLLM Application DevelopmentunsetunsetFrameworks
Library
Deion
LangChain LangChain is a framework for developing applications powered by large language models (LLMs). Llama Index LlamaIndex is a data framework for your LLM applications. HayStack
Library
Deion
发布于：浙江省
上一篇：没有了
下一篇：没有了
