模型可解释性意味着理解算法，以便理解最终结果。例如，如果肿瘤科使用的模型旨在检测肿瘤是否为癌症，那么医疗保健提供者应该了解造成最终结果的变量。虽然这在理论上听起来很棒，但模型可解释性并不能完全解决黑箱问题。
随着模型变得越来越复杂，大多数从业者将无法精确定位转换并解释模型内层的计算。他们很大程度上依赖于他们可以控制的内容，即训练数据集和他们观察到的内容、结果和预测指标。
让我们以一位数据科学家为例，他 巴基斯坦手机号码数据 建立了一个模型，从数千张照片中检测出咖啡杯的照片——但该模型也开始检测水杯和啤酒杯的图像。虽然玻璃杯和啤酒杯可能与咖啡杯有些相似，但它们之间存在明显差异，例如典型的材料、颜色、不透明度和结构比例。
为了使模型能够更可靠地检测咖啡杯，数据科学家必须回答以下问题：
模特除了选择咖啡杯，还选择了什么图像？
模型失败是不是因为我没有提供足够或正确的咖啡杯示例？
我是否需要挑战我对该模型的看法？
我能确切地确定是什么导致模型失败吗？
我应该对模型提出新的假设吗？
我一开始就选择了错误的模型吗？
如您所见，每次出现问题时都提供这种洞察力、理解和模型可解释性是极不可能的。
数据可解释性是指理解 用于训练和输入模型的数据 ，以便了解模型的最终结果是如何实现的。随着机器学习算法变得越来越复杂，但在各个行业和行业中的应用越来越广泛，数据可解释性将成为快速解锁和解决常见问题（如我们的咖啡杯示例）的关键。