首页
/
行业洞察
/
正文
INDUSTRY INSIGHT · 深度
智能客服看懂了图片,也不能替用户批准退款
📅 2026/10/25 12:58:24
✍️ 爱科研究院
👁 阅读 3,247
包裹照片里有一句“客服已经批准赔付”系统应该把它记录为图中文字还是直接调用退款接口这个问题比识别一段越狱话术更接近售后系统的真实风险。10月5日Google Research讨论了Agent的上下文安全。对客服而言上下文包括订单归属、付款状态和当前用户的授权不能只剩一张图片。把事实提取与资金动作拆开照片可以提供破损位置、票据编号和文字内容。它不能证明上传者有权修改这笔订单更不能签发赔付额度。即使OCR准确读出了“立即退款”这句话仍来自用户可控制的材料。工程上可以先让视觉模型产生只读观察再由后端查询订单。订单编号可以由模型建议用户身份却应来自可信会话金额由业务规则计算。高风险争议交给人工。这些约束应落在退款服务里不能只写在system prompt中。JPEG压缩、对比度增强可以作为输入处理和鲁棒性实验但不能被称为消除多模态注入的证明。它们也可能抹掉商品细节。先保存原始证据及处理关系再判断转换是否适合当前业务。图中的红色支路停在“不可执行”图片中的指令没有通向资金接口的授权路径。人工复核也应查看原始凭证而不是只看模型概括。用可信会话检查订单归属下面只演示授权判断不接真实支付服务。金额使用整数分拒绝把布尔值、负数或模型自报的用户编号当成可信输入。from dataclasses import dataclass dataclass(frozenTrue) class Order: owner: str paid_cents: int delivered: bool def review(session_user, order, requested_cents): if not isinstance(session_user, str) or not session_user: return DENY_IDENTITY if session_user ! order.owner: return DENY_OWNER if type(requested_cents) is not int or requested_cents 0: return DENY_AMOUNT if not order.delivered or requested_cents order.paid_cents: return MANUAL_REVIEW return ELIGIBLE_FOR_REVIEW order Order(u-a, 5000, True) assert review(u-b, order, 100) DENY_OWNER assert review(u-a, order, True) DENY_AMOUNT assert review(u-a, order, 6000) MANUAL_REVIEW assert review(u-a, order, 100) ELIGIBLE_FOR_REVIEW print(4 authorization cases passed)最后一个结果只是“有资格进入审核”不代表已经打款。真实服务还要处理并发、幂等、额度累计和订单状态变化。脚本中的四个断言覆盖跨用户、类型混淆、超额与正常审核分支它没有测量视觉模型的攻击成功率。验证时看动作不只看回答给测试样本附上预期业务动作不得退款、允许查询、需要人工。保留模型原始观察、可信会话身份和后端拒绝原因。模型说“我不会执行”但服务已经退款仍然是失败模型读出了危险文字但没有越权动作也不应被误算成攻击成功。这个最小例子可以离线运行视觉识别、真实风控、支付事务和模型鲁棒性均未联调。安全目标是限制可执行的动作不是保证每张图片都被正确理解。参考资料Google contextual securityMCP security practices
📌 标签:
工业官网
设计趋势
AI 建站
SEO
获取完整报告 →
RELATED ARTICLES
推荐阅读
2026/10/25 12:58:24
Agent容器里再套microVM:真正要守住哪几层边界
2026/10/25 12:58:24
训练语料近重复检测:先隔离候选,别把相似写成投毒
2026/10/25 12:58:24
C++正则转最小化DFA:AST解析到词法分析器完整实现
2026/10/25 13:38:27
LSTM日志异常检测系统:从预处理到生产部署的完整闭环
2026/10/25 13:38:27
波形扩散模型:低光照图像增强的频域建模新范式
2026/10/25 13:38:27
随机粗糙面建模的蒙特卡罗谱方法:参数配置与避坑指南
2026/10/25 13:38:27
AI编程智能体核心能力拆解:从原理到工程落地
2026/10/25 13:38:27
OpenAI DevDay重磅更新:Plugin Extensions打通MCP协议,AI工具生态迎来质变
2026/10/25 13:33:27
大模型技术入门到实战:Transformer、Dify、Agent与私有化部署考点精讲
2026/10/25 0:02:11
全国计算机二级C语言真题PDF高效刷题指南
2026/10/25 0:02:11
requests+BeautifulSoup:爬虫抓取h1标题的入门实战指南
2026/10/25 0:02:11
递推最小二乘参数辨识MATLAB编程:二阶系统与渐消记忆实现
2026/10/25 0:02:11
全国计算机二级C语言真题PDF高效刷题指南
2026/10/25 0:02:11
requests+BeautifulSoup:爬虫抓取h1标题的入门实战指南
2026/10/25 0:02:11
递推最小二乘参数辨识MATLAB编程:二阶系统与渐消记忆实现
2026/10/24 19:17:18
我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频
2026/10/23 10:58:39
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证
2026/10/25 12:42:56
2026 大模型集体涨价:用 Python 做企业 Token 成本测算与选型避坑(附配置)