Guardrails 安全护栏
Guardrails 是给大模型应用加安全边界,避免模型输出违规内容、错误动作或越权操作。
常见护栏
| 类型 | 说明 |
|---|---|
| 输入校验 | 检测恶意 Prompt、越权请求、敏感词 |
| 输出校验 | 检查 JSON 格式、字段范围、敏感信息 |
| 工具权限 | 不同用户只能调用允许的工具 |
| 人工确认 | 高风险动作必须人工审批 |
| 速率限制 | 防止刷接口和滥用 token |
工具调用护栏
高风险工具不要直接暴露给模型自动执行。例如:
- 删除用户数据。
- 发放优惠券。
- 修改库存。
- 退款或转账。
- 修改权限。
这些动作可以让模型生成“建议”,但最终必须通过规则校验和人工确认。
生产建议
- 所有模型输入输出留痕。
- 对异常调用频率做限流。
- 对 Prompt Injection 做检测。
- 对工具结果做脱敏。
- 对模型输出设置可信度和兜底话术。
非官方声明
本站为个人维护的非官方中文学习文档,不代表 LangChain 官方。页面内容是基于公开文档、源码实践和中文开发者视角重新整理的学习资料。涉及 API 细节时,请以官方文档和实际安装版本为准。
参考来源
- LangChain / LangGraph 官方文档:
https://docs.langchain.com/ - LangChain API Reference:
https://reference.langchain.com/ - 本站内容为中文学习整理,不做官方身份声明。