最近，我们参与了内部和外部的红队演习，的潜在风险并相应地减轻风险。利用员工开发人员的广泛专业知识，内部漏洞赏金计划可以识别 ai 模型和应用程序中的漏洞。此外，与外部供应商合作有助于覆盖我们产品中内部红队可能遗漏的其他风险面。利用多样化的红队实践对于覆盖广泛的风险范围和提高对不断演变的漏洞的抵御能力至关重要。
什么是漏洞赏金？为什么它如此重要？
在漏洞赏金计划中，组织者会激励内部或外部的个人发现并向组织报告潜在漏洞，以免这些漏洞被恶意行为者利用。salesforce 是首批建立漏洞赏金计划的企业公司之一，并继续通过现场黑客活动等举措扩大其影响力，以加强对人工智能相关威胁的安全性。
最近，我们开展了一项内部漏洞赏金计划，员工提交了他 海湾电话号码 们在我们的开发人员工具agentforce for developers（以前称为 einstein for developers）中发现的疑似漏洞报告，这是一款由 ai 驱动的开发人员工具，用于协助开发 apex 代码和 lightning web 组件（javascript、css 和 html）。为了激励参与，我们根据漏洞赏金计划评分标准为得分最高的提交者提供现金奖励，该评分标准优先考虑广泛的偏见、安全性和隐私考虑。
这些发现很有见地，有助于为下一次产品改进提供参考，以进一步减轻潜在的偏见。例如，一些提交的内容探讨了该工具在开发预测购买行为的代码时可能会无意中优先考虑某些客户属性，例如性别。负责任的人工智能产品经理orlando lugo描述了部署此类代码的影响：“如果部署了此类代码，可能会导致 salesforce 应用程序的决策出现偏见，从而可能影响公平性和包容性。