LCEL 这东西,很多人第一眼看就是个语法糖,prompt | model | parser,三个竖线。但它是 LangChain 这套里最值得学的一块,因为那一个竖线,把流式、批处理、异步、重试这些能力一次性绑到了链上。这篇讲它怎么把工具调用和流式输出接起来,和我本机跑它踩的坑。竖线是钥匙。
先给判断。如果你的流程是一条直线,输入进、输出出、没有回头路,LCEL 就够。如果你要模型反复决定下一步,那是 LangGraph 的活。别把直线硬掰成图。
一条链,六种跑法
LCEL 的核心是 Runnable 接口,prompt、model、parser 全是 Runnable,拿 | 一连起来就是新的 Runnable,链就这么拼出来。我本机装了 langchain-core 1.8.1,跑了个最小链。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_core.language_models.fake_chat_models import FakeListChatModel
model = FakeListChatModel(responses=["第一段。"])
prompt = ChatPromptTemplate.from_template("把这句话翻成中文:{text}")
chain = prompt | model | StrOutputParser()
print(chain.invoke({"text": "hello"})) # 整段
for chunk in chain.stream({"text": "hello"}): # 逐字符
print(chunk, end="")
我用 FakeListChatModel 是因为它不要 key,跑起来验证语法正好。invoke 返回整段,stream 逐字符吐。这俩是一个定义自动派生的,你写一次 |,就同时拿到 invoke、stream、astream、batch、abatch。这是 LCEL 最大的好处。别自己手写循环了。省一半代码。
工具调用靠 bind_tools
Agent 的骨架是「模型决定调哪个工具」。LCEL 里这一步是 bind_tools。
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
'''查询指定城市的天气。'''
return f"{city} 今天 22 度"
bound = model.bind_tools([get_weather])
@tool 装饰器把一个普通函数变成工具,get_weather.name、description、args 都自动从函数签名和 docstring 抽出来。args 是 JSON Schema,{'city': {'title': 'City', 'type': 'string'}}。bind_tools 把工具塞给模型,模型才会返回 tool_calls。
我本机踩了个坑。FakeListChatModel 调 bind_tools 直接抛 NotImplementedError。它是个假模型,不会真解析工具调用。要验证工具调用这条链,得换真模型,或者用 mock。这提醒我,工具调用是模型的能力,不是 LCEL 的语法。LCEL 只负责把工具定义传进去,回不回 tool_calls 看模型。坑在这。
流式工具调用是重灾区
工具调用和流式撞一起,是最容易出 bug 的地方。我查了几个来源,口径一致。流式时模型先吐一段文字,再吐 tool call 的增量,tool call 的参数是分块来的。你要拿完整的工具参数,得等 on_tool_end 或者把块攒起来解析。别指望第一个 chunk 就有完整 JSON。
这里我给个建议。做流式工具调用,用 astream_events,别用 astream。astream_events 按事件发,on_tool_start、on_tool_end 都带完整 payload,astream 只有文本块。你要在界面实时显示「正在调工具」,astream 给不了你这个。差得远。
四个高频坑
我把我查到的、和我自己踩过的,拢成四条。
键不匹配是头号杀手,上一个 Runnable 输出的是 summary 这个键,下一个 prompt 却眼巴巴等着 text 这个键,定义的时候一声不吭,跑到一半才甩一个 KeyError 出来。用 chain.get_graph().print_ascii() 看数据流,或者中间插 RunnablePassthrough 打印。先看流向。
忘 StrOutputParser 是个高频错,chat model 返回的是 AIMessage 对象,根本不是字符串,你直接拿结果当文本用,满手都是 .content。加个 | StrOutputParser() 就干净了。别省这一步。
异步里用 invoke。FastAPI 里写 chain.invoke,把事件循环堵死,并发全等这一个。异步上下文用 ainvoke、astream。
RunnableParallel 是并行的。字典里两个 Runnable 同时跑,不是顺序。你要顺序,用 |,别用字典。
工具调用之后,链怎么接上执行结果,这是很多人断掉的地方。模型返回 tool_calls 不是终点,你还得拿 tool call 里的参数去真调函数,把结果塞回给模型,让模型基于结果再答。LCEL 里这一步没有魔法,得你自己写一个 RunnableLambda 承接 tool_calls,跑函数,把结果拼进消息。这一环我建议直接上 LangGraph 的 ToolNode,或者用 AgentExecutor,别在纯 LCEL 里硬绕。纯 LCEL 适合「模型直接出答案」的直线,不适合「模型要调工具再回头」的循环。
还有两个值得记住的接口。with_fallbacks 给链挂一个备用模型,主模型限流就自动降级。with_retry 自动重试,但它对所有异常都重试,包括你 prompt 写错导致的解析失败,会白烧三倍钱。我建议先看日志再加 retry,别无脑套。
LCEL 还是 LangGraph
给个分界。我前面说过直线选 LCEL,展开一点。你的链是 prompt、检索、生成、输出,一条道走到底,LCEL 最省。你的流程里有「模型决定要不要再查一次」「循环调工具直到拿到结果」,那就是图,换 LangGraph。硬用 LCEL 做循环,你会拿 RunnableLambda 堆出个四不像。LCEL 的链也常出现在 LangGraph 的节点里,一个节点一段直线,图管循环。
一句话。LCEL 值钱的地方,是它把流式、批处理、重试这些本该你写一堆胶水的事,压成一个竖线。但它是给直线准备的,别指望它拐弯。