科大讯飞同时也是863“类人答题”机器人项目的测试组织单位,吴晓如说,根据国家科技部的要求,客观评价机器人参加高考的水平首先要有完全可监督的第三方的人对整个过程监督和处理;其次,参加考试的机器人也要确保处于完全断网的环境;第三,测试试卷必须是原创的新题。并且,实际操作中还必须把整个测试过程的日志,即机器上所输出的详细的中间处理过程全部要输出,以便确认这是完全由机器自动一步一步求解而来的答案。
机器人写作文与人仍有不小差距
2014年科大讯飞承担了“类人智能”项目,并提出“机器人通过高考考上一本的目标。“目前来说我们这个目标还没有变化。”
6日,科大讯飞研究院院长胡国平介绍,国家863计划由语文、数学、地理和历史四门学科同时进行研发。自设定高考目标后,项目组30个团队针对不同的问题成立了公关组:有的做知识获取和支持,有的做知识图谱构建,有的利用知识图谱去求解题目,有的专门突破题意理解,还有的专攻文言文。
“过去的两三年里面,所有项目组都取得了相关核心技术的进步。而且中间有很多的技术成果已经在开始的相关的一些行业里面已经形成应用了。”胡国平说,数学相对容易些,所以进展比较快。详细来说主要有两方面的原因:一是数学题目的语言理解相对比较容易,有较多标准化、结构化的描述语言或出题语言,所以机器较好理解;二是有一定基础。几十年前就已经有做得比较好的定理、自动证明等一系列的研究成果,可以在高考机器人中发挥作用。而数学科目的最大的难点还是在一些类似应用题上,涉及到一些常识理解,这方面其实也还是有较大的短板。
“语义理解方面,其他三门语文、历史、地理正面对着更复杂的情况,在一些深度的知识表现和深度的语音理解方面还需要进一步的技术突破。据我们之前几次内部的测试来说,目前机器人错的最多的题型还是地理和历史学科中需要多个轮次知识推理解析的题目。”
不过,就总体来说,胡国平表示,对完成预定目标还是有信心。6日,他向澎湃新闻表示,语义理解方面大概有四五个攻关组在研究,包括最开始的规则、语法分析与遗传分析以及机器翻译。“其实在数学上我们就尝试过用机器翻译的方式,来实现自然语言的语义和句子的真实性理解。这样用机器能理解的语义的转换工作总体来说还是一个难题,并没有真正的突破,只是数学上做得相对比较好,在地理历史和语文上现在有了很好的进展,但还没有真正达到突破这种概念。”
而关于作文考题,胡国平表示,目前要机器人写一篇具有说服力的议论文,和人相比还是有差距的。现在机器人写作文基本上是以不停的往外扩展的方式来实现。简单来说就是拿到一个题目之后,基于这个题目去扩展出来一些概念的词汇,然后再扩展到概念的句子,再由这些句子通过一个排序算法来重新进行排序,最后组织形成一篇文章。整个自动作文的效果从具体层面可以看出都很好,但在篇章里看起来还是会有一些表达上的不连贯。这种篇章级的语义理解,或者说连贯性目前还在努力解决中。
至于何时组织机器人参与高考相关技术测试?胡国平表示,根据科技部项目办的要求,预计将在2019、2020年会做最后成果的测试。吴晓如则表示,技术在动态的变化,考试的题目也在动态的变化,要完成这个目标还是存在很多技术上的挑战,这就要项目组成员做更多的努力。