Humanloop

「Humanloop」是什么

Humanloop是一款面向企业的LLM评估平台，它为用户提供了顶级团队用于交付和扩展人工智能所需的工具，让开发人员能够充满信心地进行AI开发工作。

功能解析

• 开发功能：支持在代码或用户界面中开发提示词和智能体。拥有提示词编辑器、工具和智能体编辑器，可进行版本控制，记录对提示词、数据集、评估器的每一次编辑，且能使用任何人工智能供应商的最佳模型。
• 评估功能：可自动评估，借助领域专家力量。能融入部署流程防止性能倒退，实现AI和代码自动评估，评估可扩展且快速；还有直观用户界面供主题专家判断输出结果。
• 观察功能：具备警报和防护栏，能在用户发现问题前发出通知；可进行在线评估，捕获实时数据上的用户反馈和评估结果；支持追踪和日志记录，能查看RAG系统的每一步并重新播放输出。

产品特色

• 打破传统局限：传统以代码为中心的工具和工作流程不适用于AI系统，而Humanloop能满足AI迭代、数据驱动且受领域专业知识引导的开发需求。
• 多角色协作支持：产品经理可提升团队速度，确保AI性能符合业务目标；工程师能让领域专家在版本控制环境中安全编辑提示词，与代码同步并在CI/CD中运行评估后放心部署；领域专家可在直观用户界面中对提示词输出给出反馈并进行提示工程实验。
• 安全合规保障：提供数据隐私保护，有VPC部署选项，数据不在平台训练；具备安全访问控制，包括基于角色的访问控制（RBAC）、自定义单点登录（SSO）+ 安全断言标记语言（SAML），经过第三方认证的渗透测试，符合SOC-2 Type 2、GDPR、HIPAA等合规标准。

应用场景

• 加速AI战略：能让团队基于真实世界数据快速迭代，对系统进行评估、调试和优化，助力企业加速AI战略实施。例如Dixa借助Humanloop将新AI功能发布速度提升约3倍。
• 提升产品收益：企业可通过Humanloop让法律专家等领域专家与数据科学家、产品经理和工程师协作，扩展快速增长的生成式AI产品线，实现收益提升。如Filevine借助Humanloop使AI产品SKU的收益翻倍。
• 降低成本与提升性能：通过微调较小模型并利用Humanloop匹配GPT-4性能，企业可节省成本。例如FMG通过此方式节省了15倍成本。

使用指南

• 开发阶段：可在代码环境或用户界面中的提示词编辑器、工具和智能体编辑器进行操作，团队成员能在交互式环境中协作开发，同时系统会记录每一次编辑。
• 评估阶段：自动评估可融入部署流程；若需人工评估，领域专家可通过直观用户界面判断输出结果。
• 观察阶段：用户可依据警报和防护栏提示，结合在线评估捕获的用户反馈以及追踪和日志记录的信息，对系统进行优化。