LangSmith 让 LLM-as-a-Judge 对齐人类偏好
LangSmith 评估器新增“自我改进”功能:人类对 LLM-as-a-Judge 输出的修正会存为 few-shot 示例并回填提示词,无需提示词工程即可让评判对齐人类偏好。
LangSmith 评估器新增“自我改进”功能:人类对 LLM-as-a-Judge 输出的修正会存为 few-shot 示例并回填提示词,无需提示词工程即可让评判对齐人类偏好。
LangChain 发布开源、免费使用的 Auto-Evaluator 托管应用与 API,可为给定文档自动生成问答测试集,并对用户指定的 LLM 问答链自动打分。
LangChain 在博客中梳理正在形成的 wiki memory 模式,即用智能体把原始数据压缩成持久、结构化、可检查的文件知识层,供后续智能体更快理解某个领域。
LangChain 博客介绍了 Michael Chang 的 data-driven-characters 仓库,上传语料库并指定角色名即可生成角色定义和角色聊天机器人。
LangChain 已合并 Xata 的四个集成,Xata 现在可分别作为 LangChain 与 LangChain.js 的向量存储和记忆存储。集成基于 Xata 新 GA 的 Python SDK,支持按元数据过滤,并可将聊天消息历史存入 Xata,为 LLM 应用提供长期记忆。
LangChain 基于 LangSmith 在 2023-07-02 至 2023-12-11 的匿名元数据发布 2023 年 AI 现状报告:42% 的复杂查询涉及检索,约 17% 属于 agent。
Airbyte 的 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform、Zendesk Support 数据源现可作为文档加载器直接在 LangChain 应用中使用,这是 Airbyte 300+ 数据源接入 LangChain 的开端。
Qdrant 称与 LangChain 的组合可支撑生产环境的 RAG 性能,且是 LangChain 支持的 40+ 向量库中唯一支持异步操作的向量数据库。该异步 API 基于 gRPC,开源版与 Qdrant Cloud SaaS 均可用,配合 FastAPI 等异步框架可减少对外部服务的 I/O 等待。
LangChain 对 CSV 数据问答做了一次基准评测,最终方案是接入 OpenAI functions 与 GPT-4 的智能体,带 Python REPL 和检索器两个工具。
LangChain 为 LangServe 新增 Playground 与配置(configuration)能力。部署链或智能体后会自动附带 Playground,支持流式输出、中间步骤完整日志和可调参数,方便发链接给同事协作试用。配置基于 LangChain Expression Language,可通过 URL 保存不同版本,但当前配置尚不持久化,官方正 alpha 测试可持久化的部署平台。
Timescale Vector 为 LangChain 提供集成,让 PostgreSQL 充当 AI 应用的向量数据库,在 100 万 OpenAI embeddings 数据集上以约 99% recall 实现比 Weaviate 快 243.77% 的相似度搜索。
LangChain 发布新的网络研究检索器并提供使用文档,放弃最初的自主智能体路线,改为用 LLM 生成多个搜索 query、并行搜索并抓取页面、索引进向量库后检索最相关片段。
Cube 与 LangChain 集成,以文档加载器 CubeSemanticLoader 将语义层数据模型的嵌入写入向量数据库。该向量库可用于匹配语义层实体,把自然语言输入映射到数据模型中的视图及其成员,加载时只载入视图。Cube 还提供 chat 演示应用,用 OpenAI 提示词、FAISS 向量库和 Streamlit 界面生成对 Cube SQL API 的查询。
LangChain 在最新 Python 和 TypeScript 版本中引入 Retriever 抽象,把 VectorDBQA、ChatVectorDBChain 等链改为 RetrievalQA、ConversationalRetrievalChain,并保持向后兼容,原有链可继续使用,但建议尽快迁移到 Retrieval 系列链。
Hamel Husain 汇总了其在 AI 产品工程与评估方向的长期写作,最新一篇为 9/30/26 的《Claude 新 auto eval 工具》。他联合教授 AI Evals for Engineers and PMs 课程,已有来自 500+ 公司的 5,000 多名学生,包括 OpenAI、Anthropic 和 Google。
Sierra 的 Expert Answers 能自动把 AI agent 转交人工客服处理的对话转化为可审核的知识文章,并回灌给 AI agent。每篇草稿发布前均可审核,该功能还与 Live Assist 打通,把知识共享给整个客服团队。一家数字健康公司测试后解决率提升 4% 且无需客服额外投入,随后全面推广。