返回案例和资讯
企业动态2026/07/029 分钟阅读华胥星辰团队

生成式 AI 合规:我们建了一套什么样的算法安全制度

做面向公众的生成式 AI 产品,合规不是可选项。我们围绕算法安全建立了十余项管理制度,这篇公开说明它覆盖了什么、以及为什么企业客户应该关心这件事。

合规算法安全内容安全数据保护
生成式 AI 合规:我们建了一套什么样的算法安全制度

面向公众提供生成式 AI 服务,在国内是有明确监管要求的。这不是"做到一定规模再考虑"的事,而是产品上线前就要具备的基础能力。本文公开说明我们建立了什么。


一、为什么公开讲这件事

两个原因。

对个人用户

你上传到 辣椒AI 的是文档、笔记、研究资料——这些是有价值且私密的内容。你有权知道我们怎么处理它们。

具体来说,你应该关心三件事:

  • 数据去哪了:上传的文件是存在哪里的、谁可以访问
  • 数据怎么用:会不会被用来训练模型
  • 数据怎么删:你删除资料时它是否真的被删干净了

我们在这三个问题上都有明确立场:数据存在用户名下,不用于模型训练,删除操作即时生效。

对企业客户

当你考虑把 AI 引入业务时,供应商的合规能力会直接变成你的风险。一家自己都没有算法安全制度的公司,很难帮你满足你的合规要求。

一个实际场景:假如你是甲方,选择了一款 AI 产品来做内部知识库问答。这时候你需要审计——AI 的回答基于什么信息?有没有访问不该访问的内容?历史运

行记录能不能查到?如果供应商自己都回答不了这些问题,审计就无从谈起。

我们做企业交付,这套东西是我们能提供的交付基础之一,而不只是自家产品的内部规范。


算法安全管理制度体系:一份汇编 + 十项专项制度
算法安全管理制度体系:一份汇编 + 十项专项制度


二、制度覆盖的范围

我们围绕算法安全建立了一套管理制度汇编,包含十项专项制度:

制度解决的问题
算法安全自评估定期检视算法可能带来的风险,形成评估记录
算法安全监测对运行中的算法行为做持续监测
算法违法违规处置发现问题后的处置流程与责任分工
算法安全事件应急处置突发事件的响应机制
数据安全与个人信息保护数据的收集、存储、使用、删除全生命周期规范
生成式内容安全管理生成内容的安全审核机制
模型与第三方服务商管理对所使用的模型和外部服务的准入与管理
用户投诉举报与申诉处理用户反馈渠道与处理时限
公开分享与内容处置规则用户公开分享内容的规则与处置方式
日志留存与审计管理操作与访问日志的留存周期和审计方式

同时明确了算法安全责任人及其职责。

这套制度的设计思路

不是把法规条文抄一遍。核心思路只有一条:每一类风险都有一条责任链,每一环都有人签字。

举个例子:算法安全监测这条制度,不是说"我们觉得应该监测",而是明确了监测什么指标、监测频率、由谁负责、异常由谁处理、多长时间内必须响应。从"应该做"到"做成什么样算完成",中间的 gap 靠可执行的标准来填。


三、几条落到产品里的具体做法

制度不落到产品上就是纸面文章。几个实际的对应:

引用可校验,而不是靠模型自觉

我们在系统层面校验回答中的引用是否真实存在。这不是"告诉模型要说真话"——提示词是软约束,工程校验是硬约束。这是"内容安全"里最基础的一环:先保证 AI 不编造依据,再谈其他。

校验的具体机制:每次 RAG 检索返回的片段都会记录其来源文档和段落位置。生成回答后,回答中标注的引用必须能在检索结果中找到精确匹配。找不到的引用会被标记并从回答中移除,严重的会触发整条回答的重新生成。

完整的运行记录

每一次 AI 运行、每一步、每一次工具调用都有结构化记录,包含模型调用、检索内容、耗时和错误。这既是排障工具,也是审计基础。

对于企业场景,这意味着:

  • 某个用户在某天问了一个问题,AI 是基于哪些资料回答的——可以精确追溯
  • 如果出现安全事件,可以在日志里定位到具体哪次调用出了问题
  • 成本分析可以精确到每个步骤的 token 消耗

权限在检索层强制

企业场景中,用户能检索到的内容范围在检索阶段就被过滤,而不是先检索出全部再让模型"不要说"。模型不是权限系统。

一个反例:如果先检索出所有相关文档(包括用户没权限看的),然后把"这些文档"和"记得不要说"一起发给模型,那么——模型可能忘记不该说、提示词注入可能绕过约束、越权信息已经进入了模型的上下文。我们在检索阶段就用 user_id 做过滤,模型永远拿不到不该拿的数据。

数据边界清晰

在私有化交付中,数据留在企业指定环境内。文档处理服务设计为无状态,不直连业务数据库,处理完即通过回调交还结果。

这个设计的核心原则是:处理层不应该有数据的所有权。文件来、处理、走,不留存。这既是安全设计,也是架构洁癖。


四、当前状态,如实说明

按照我们不写不可核实内容的原则,这里如实说明进展:

  • 算法安全管理制度体系:已建立,包含上述汇编与十项专项制度,以及责任人认定。
  • 软件著作权登记:《辣椒AI多模态知识管理与智能问答系统》V1.0 已提交登记申请,目前处于办理过程中,尚未取得证书。
  • 算法备案:相关材料已按要求准备。

我们会在取得正式结果后更新本文。在此之前,不会把"准备中"写成"已完成"——这是我们对所有对外内容的一致要求。


五、不同规模企业的合规建议

初创阶段(5-20 人)

  • 至少有一份文档写清楚"数据怎么存、谁有权访问、删数据怎么删"
  • 日志要留,但不用上来就建完整的审计系统,一个月能追溯即可
  • 内容安全至少要做到关键词过滤 + 人工抽检

成长期(20-100 人)

  • 正式建立制度体系(可以参考本文的十项清单)
  • 关键行为(AI 调用、数据变更、权限变更)要有结构化日志
  • 指定安全责任人

成熟期(100 人以上或企业服务)

  • 完整的审计追溯链路
  • 第三方安全认证
  • 定期的外部渗透测试和安全评估
  • 企业合同里的合规条款要有对应的技术能力支撑

六、给正在评估 AI 供应商的企业

如果你正在选型,建议至少问供应商这几个问题:

  1. 你们的算法安全制度覆盖哪些方面?能提供文件吗?
  2. AI 的每一次运行有没有可审计的记录?保留多久?
  3. 我们的数据会不会被用于训练?合同里怎么写?
  4. 权限控制是在检索层做的,还是靠提示词约束模型?
  5. 出现内容安全问题时,处置流程是什么?

第 4 个问题特别值得问。答案如果是"我们在提示词里告诉模型不要说",那基本等于没有权限控制。

再加两个往往被忽略的问题: 6. 你们用的是自研模型还是第三方模型?如果是第三方,有没有服务商管理机制?——第三方模型的行为可控性和透明度通常不如自研,需要额外的风险对冲。 7. 日志保存在哪里?我们能不能审计?——日志只存在供应商的系统里,和日志可以导出给企业审计,是完全不同的合规等级。


有合规相关的具体问题,欢迎联系我们。

想在你的业务里试试同样的做法?

告诉我们业务问题与数据现状,我们会给出方案建议与落地路径。