2020年12月3日，由中国汽车工程研究院主办的第五届i-VISTA智能网络化汽车国际研讨会隆重举行。在中国智能网络化汽车产业创新联盟CAICV-SOTIF工作组会议上，清华大学车辆与交通研究所副研究员、智能旅行研究所副所长王鸿发表了题为“预期功能安全性量化评价指标初步研究”的主旨演讲。
清华大学交通运输学院副研究员、智能旅行研究所副所长王鸿
以下是这次演讲的记录：
非常感谢陈老师关于预期功能安全性量化评价指标的详细报告，已经深入研究。那么我的报告就从宏观层面介绍一下我对预期功能安全性量化评价指标的初步想法，让大家充分覆盖领域，然后再看具体是否具有实用性和可操作性。然后这个目录看起来内容很多，其实内容也不是特别多，一共23页。第一个是预期功能安全问题及其关键难点。那么这就是对预期功能安全定义的回答，主要集中在功能不足、性能限制或可合理预见的人员互操作性造成的危害。
为什么要添加这些内容？因为发现今天在座的各位专家并不是都对预期有完整详细的了解，所以特意拿出这部分内容和大家一起复习。
那么这里的道路环境包括随机场景变化、非常规交通参与、交通环境干扰。
此外，自动驾驶系统的局限性包括系统的功能局限性、AR算法的局限性、驾驶员和乘客的合理使用，包括事件抵消、驾驶疲劳和人员使用。所以这里有一个陈老师刚才提到的典型案例。大家都喜欢拿出来开发这款车。玉溪木板前的白色货车车厢被鉴定为一种白云，导致了这样的事故。这是预期功能安全的典型案例。
然后根据asare 21448我们可以看到，预期功能安全最难的部分其实是阿诺德C这个产品部分的安全区域。此外，在研究过程中，我们将预期功能安全分为感知层、决策层和控制层三个层次，研究、感知和决定控制预期工作安全的划分，并引用了我们后来提出的预期功能安全评价体系。然后，目前预期工作安全存在的问题包括感知不足，主要来自感知层面，包括漏检和错检，以及测量不准确，主要是由于场景的随机变换和人工智能算法的不确定性，导致我们预期的功能安全测量不准确。
那么第三种就是验证不完全，测试里程长，验证不完全。那么，下面就是我要和大家讨论的整体思路，重点是预期功能安全性的量化评价体系。让我们和你谈谈这样总结的我们思维的一次心路历程。由于公共安全发展后发现了很多问题，加上预期功能和智能算法的应用，无法覆盖所有与预自动驾驶相关的安全问题，于是产生了预期功能安全问题，即q21448的出现。
但是在现有的数据中，我前面介绍的预期工作安全的评价体系，是来自硬件系统的功能安全评价体系，比如今天上午horrorstpasmea认可的预期功能安全的分析评价方法。
在我开始研究预期功能安全性的时候，也就是去年7月，当我第一次研究它的时候，我也和张雨晴老师谈过。当时我特别抵触功能安全SS的评价方法，因为我以为是这样一种功能安全失效的分析方法，而且其中涉及的EMC比较分散，所以我觉得不适合我们对预期功能安全的评价。但是后来我深入了解后发现，不能完全抛弃功能安全性评价的思想，而应该在此基础上谈，更适合于一种预期功能安全性的评价思想。
然后，在理解预期功能安全的量化评价体系的过程中，我们会发现，因为它伴随着人工智能算法的不确定性，所以我们在计算机科学的基础上考察了他们对人工智能算法的不确定性的评价，因为不确定性是我们目前预期功能安全的问题。然后，我们必须跨专业相互沟通，以克服我们预期的功能安全性。因此，在感知、决策甚至预测方面，我们对预期功能安全性不确定性的评估方法进行了更深入的研究。
比如在环境迁移算法和不确定性评价中，我们主要找到了一位非常年轻的牛津大学教授延安盖奥，他提出了一种类似bBs的语义分割方法，并利用这种方法或者公司培训的两种典型方法提出了商和互信息的预测。这个想法更符合我们之前的商数概念。所以，我没有跟踪的，都是1011团队的研究。他们最初研究的是人工智能算法的不确定性，后来有机会将这些不确定性方法应用到我们的车辆领域。
这也回答了重庆大学王珂先生刚才提出的一个问题，即如何评价预测工作安全所涉及的算法不确定性。我觉得这是一个非常有价值的参考和学习的参考。
另外，在决策算法的不确定性分析中，我们发现MIT和cmd做了大量的工作，即决策算法的前端是预测算法，所以我们通过预测算法来预测周围的环境、人和车辆。如果他的预测不够准确，将直接影响我们决策的安全性。
那么这主要是一个初步的研究，主要是针对预测算法，如何把周围环境中的车辆和闲散人员的不确定性引入到我们的决策模块中，让我们的决策具有预测性，而这种不确定性敏感度就是这样一种决策方法，那么他们提出如果我对周围环境的预测有很高的不确定性，我应该采取一些降级或者应急的处理方法。所以在这里，我认为对于期望功能安全的研究也是有参考意义的，所以根据什么是参考功能，以及计算机领域对于期望工作安全所有可能的参考意义，得出这样一个期望功能安全量化评价体系的整体思路。那么整个想法可以说是拿出来和大家讨论，这其实也是我的团队现在在做的。
我们认为预期的功能安全评估系统包括三个层次。第一层是系统层。我们把它当成一个黑箱，不管内部结构如何，不管它的算法是否不确定。让我们将它视为我们现有测试场景的输入，包括功能场景、逻辑场景和特定场景。另一个是建立我们期望的功能安全产品库。基于这些场景，我们对整体性能进行评估，即系统级评估和系统级评估相结合。现在我们认为必须包括暴露、严重、可控三个层面，所以暴露高度必须结合产品的分类来评价。在贼估计之前肯定不是离散的，不是说1234这么简单，而是我们可以实时做出这样的风险评估。
这里我们有一个名字叫做潜在安全系数，这是我们的潜在碰撞风险系数，潜在安全系数，价格，指数。我们可以实时判断其风险，所以可控性非常特殊。我们根据对碰撞和可能冲突的概率的评估来定义我们的可控性。所以在系统级评估的层面上，我们可以发现目前的存储是和esc结合的，但是S和C都不同于传统的功能安全，是一种泛化。
那么第一层就是系统层，然后第二层就是施工层。这个组件是把内部系统打开成一个百合，包括感知模块、预测模块、决策模块和执行模块。
然后，这里感知模块的输出之一，也就是对我们来说，面向结构模块的输出，包括风险率、特征率、定位误差等。当然这个模块里我们涵盖了定位，所以可以说它的性能是根据它的结构取向来评价的，包括你在弱弱碱域的采样率和定位精度等。另外，同样的决策预测模块、决策模块、执行模块等。都是根据它们的预测结果，也就是结果导向来评价的。
那么第三层要深入算法本身，研究它的不确定性，更适合我们公司的产品开发和这类理论的高效研究。比如在感知模块中，数据的确定性和算法的不确定性，包括我们的认知和偶然的不确定性，我们可以通过这些不确定性得到一个构件级感知的评价指标。
那么这也是一个例子。这是对第三层的评价，也就是决策层和预测层其实是一样的。预测层是我们可以研究预测模型不确定性的地方。预测模型预测你是准确的，它形成的轨迹预测它有不确定性。
另外还有决策模块。目前我们团队正在研究决策模型的科技属性。我们希望通过可解释性的研究提出一个决策模块的评价指标，还有执行模块。因此，这张图说明了我们对预期功能安全性定量评价体系的整体思路，包括系统级评价、esc组件级评价和组件级评价，包括面向结构。也就是说，根据其输出结果来判断，另一部分是深入算法本身，研究其内部的不确定性，提出一个评价指标，有三个层次。
然后，我刚才提到的系统级评估指标是基于我们场景出现频率的统计，所以太古写道，它提出了潜在的碰撞风险系数和潜在的金融领域市场，另外，可以说价值是引入我们可控碰撞概率的预算，所以通过计算我们的整体电磁兼容性可以得到系统级预期功能安全评估体系。然后第三个块是感知层的预期功能安全评价体系，然后感知也分为两个块，一个是面向结果的，基于我的数字的结果，包括我们的感知准确率、漏检率、误检率等。这些都是用来评价我们所感知到的是什么样的评价指标，这里也有一个证词，就是前两天和经过专门训练的女博士李继明交流的时候，一家激光雷达厂商也用了他们算法性能的下降。
也就是说，我们对某个模块的评价，并不一定意味着一个非常复杂的算法，而是一个更为实用的，容易被大家理解和接受的方法。
另一种是内因导向的评价方法。内因是评估我们算法的不确定性，下面是我们如何评估采用我们的卡罗状态数的不确定性。
那么预测功能安全性评价体系实际上是基于预测的不确定性。它还使用了基于贝叶斯推理的模型不确定性分析的评估方法MC Weekly，然后得到了我们的预测模块的整个不确定性分析的评估指标。当然，评价指标可能更适合高校的理论研究，所以不排除在我们这个行业应用这个评价体系做出预期的安全性。
那么，决策层其实主要是研究一些决策可解释性和不确定性的评价指标。这里我们希望得到决策层的可解释性和不确定性的一些评价指标。这部分研究内容还在进行中，具体结果可能要到明年才能和你讨论。因此，在这里我介绍一个评估体系的初步想法，供您参考，欢迎您提出更多有价值的意见。
注：本文按现场速记整理，未经发言人审阅。仅供参考，请勿转载！
下一章>>>更多精彩
