网络相关资源

人们正在编写出色的工具和论文，以改善 GPT 的输出。以下是我们看到的一些很酷的工具：

提示库与工具（按字母顺序排列）

  • Arthur Shield：用于检测有毒、幻觉、提示注入等的付费产品。
  • Baserun：用于测试、调试和监控基于 LLM 的应用程序的付费产品。
  • Chainlit：用于创建聊天机器人界面的 Python 库。
  • Embedchain：用于管理和同步非结构化数据与 LLM 的 Python 库。
  • FLAML（自动机器学习和调优快速库）：用于自动选择模型、超参数和其他可调选项的 Python 库。
  • Guardrails.ai：用于验证输出和重试失败的 Python 库。仍处于 alpha 阶段，因此请预期存在一些尖锐的边缘和错误。
  • Guidance：使用 Handlebars 模板将生成、提示和逻辑控制交错的 Microsoft Python 库。
  • Haystack：用于构建可定制、生产就绪的 LLM 应用程序的开源 LLM 编排框架，使用 Python 实现。
  • HoneyHive：用于评估、调试和监控 LLM 应用程序的企业平台。
  • LangChain：用于链接语言模型提示序列的流行 Python/JavaScript 库。
  • LiteLLM：用于以一致的格式调用 LLM API 的最小 Python 库。
  • LlamaIndex：用于为 LLM 应用程序增加数据的 Python 库。
  • LMQL：一种用于 LLM 交互的编程语言，支持类型提示、控制流、约束和工具。
  • OpenAI Evals：用于评估语言模型和提示任务性能的开源库。
  • Outlines：提供领域特定语言以简化提示并限制生成的 Python 库。
  • Parea AI：用于调试、测试和监控 LLM 应用程序的平台。
  • Portkey：用于 LLM 应用程序的可观察性、模型管理、评估和安全性的平台。
  • Promptify：用语言模型执行自然语言处理任务的小型 Python 库。
  • PromptPerfect：用于测试和改进提示的付费产品。
  • Prompttools：用于测试和评估模型、向量数据库和提示的开源 Python 工具。
  • Scale Spellbook：用于构建、比较和发布语言模型应用程序的付费产品。
  • Semantic Kernel：来自 Microsoft 的支持提示模板化、函数链接、矢量化内存和智能规划的 Python/C#/Java 库。
  • Vellum：用于尝试、评估和部署先进的 LLM 应用程序的付费 AI 产品开发平台。
  • Weights & Biases：用于跟踪模型训练和提示工程实验的付费产品。
  • YiVal：使用可定制的数据集、评估方法和进化策略调整和评估提示、检索配置和模型参数的开源 GenAI-Ops 工具。

提示指南

视频课程

j Karpathy 的 Let’s build GPT](https://www.youtube.com/watch?v=kCc8FmEb1nY)：深入探讨 GPT 背后的机器学习。

用于改善推理的高级提示论文

参考资料

https://cookbook.openai.com/articles/related_resources