可解释人工智能

可解释人工智能 Explainable AI

可解释人工智能是一套流程和方法，可使人类用户能够理解和信任机器学习算法所产生的结果和输出，有助于描述人工智能模型的准确性、公平性、透明度和结果。

关注可解释性的主要原因有两方面：1）当前以大数据与深度学习为基础的人工智能不可解释和不可理解，就事论事，泛化能力弱。当面对动态变化的环境、信息不完全、或存在干扰与虚假信息时，人工智能系统的性能会显著下降，这样的人工智能系统由于不可理解，无法实现人机交互，无法与人类协同工作。2）解决实际应用中人们对人工智能产品的信任问题，即人们需要知道 AI 给出答案的依据是什么，计算的过程是怎么样的，从而产生信任的依据，同时也促进组织采用负责任的方法进行 AI 开发。

人工智能的可解释性可分为两个层面：1）解释：以人类可以理解的方式解释推理和决策的依据及过程；2）抗辩：针对人类的质疑能进行有效的抗辩。

可解释人工智能具有两方面能力：1）自省和可解读能力：机器和人类可达成共同语言表达；2）自辨能力：机器能向人类解释其计算的机理与过程，从而产生有依据的可解释性。