摘要
1) 一句话总结 生成式 AI 路由通过意图分类器将用户的不同请求分配给最合适的专业模型或智能体，从而实现特定任务优化、促进团队分工并有效节约成本。
2) 关键要点
- 应用场景：在复杂的 AI 应用（如 LinkedIn）中，路由模块负责将不同任务（如简历评估、公司资讯）交由专门的智能体处理。
- 任务优化：支持针对特定任务进行深度优化，例如结合实时检索数据或使用优质数据微调专属模型。
- 团队分工：便于组织架构上的分工，允许不同的小团队独立负责和维护各自的智能体。
- 成本控制：根据任务复杂度动态分配计算资源，简单任务可路由至更便宜的模型（如 GPT-4o mini），无需统一使用昂贵且较慢的模型（如 GPT-4）。
- 实现机制：核心通常依赖“意图分类器（Intent Classification）”，通过预测用户意图将请求路由至对应解决方案（如特定网页、人工客服或微调模型）。
- 安全与过滤：意图分类器可作为安全护栏，直接拦截或礼貌拒绝与产品无关的请求，避免无效的后续处理。
- 模型选择：意图分类既可使用通用大模型，也可使用专门的分类模型；专用模型通常更小、更快（LinkedIn 即采用小型专用模型进行路由）。
3) 风险/不足
- 过度工程风险：路由机制仅在应用具备一定复杂度和规模时才有必要；对于简单应用，引入路由可能会造成不必要的架构复杂性。
正文
在 LinkedIn 这个 AI 产品架构中，有一个重要的模块叫路由（Routing），这通常是当应用比较复杂，需要用不同的专业模型或者智能体来处理不同的任务，比如当用户希望获得简历方面的建议，就可以交给简历评估的智能体负责；当用户希望获得某个公司的资讯，就可以由专门的公司资讯智能体负责。
这样做主要由几个好处：
- 可以对特定任务做优化，比如做简历评估的智能体可以根据目标公司和职位去实时检索出来招聘信息，结合简历做优化，甚至可以收集一些优质的简历微调一个模型
- 更容易做团队分工，就像 LinkedIn 这样每个小团队负责一个智能体
- 可以节约成本，根据任务的不同，有些简单的任务就不需要像 GPT-4 这样又贵又慢的模型处理，可以用 GPT-4o mini 这样的便宜模型
路由通常是用“意图分类器（Intent Classification）”来实现，分类器根据用户的输入，预测用户试图做什么事，基于预测的意图，查询被路由到适当的解决方案。例如，对于一个客户支持聊天机器人，如果意图是：
- 重置密码 –> 将该用户路由到有关密码重置的页面。
- 纠正账单错误 –> 将该用户路由到人工操作员。
- 排除技术问题 –> 将该查询路由到一个为故障排除微调的模型。
意图分类器不仅可以用来路由到相应的解决方案，还可以作为安全护栏和请求过滤，当用户请求一些和产品无关的问题时，可以礼貌的拒绝，或者要求附加说明，没有必要进一步处理。
意图分类器可以基于通用模型来实现，也可以用专门的分类模型，通常专门的分类模型会比通用模型更小更快，比如 LinkedIn 就是小的专用模型来做路由的。
需要注意的事，路由只有当你的应用有复杂并有一定规模时才有必要，如果应用不复杂，也许不需要使用路由。