分享到:

孟子轻量化训练模型助AI快速向认知智能迈进

来源:中国科技财富 作者:陈杰 2021年12月02日
[导读]  人工智能的发展方向认感知智能向认知能智能快速推进中,自然语言识别技术及预训练模型便成为AI领域中的热门赛道。

  数字经济时代,人工智能已经成为重要基础设施,已具备同各行各业结合的能力,越来越多的行业和领域都在进行不同层次的智能化升级。当然,人工智能本身也在不断迭代升级。人工智能经历了规则推理、机器学习和深度学习三个阶段,基于多层人工神经网络的深度学习是目前人工智能最有效的学习算法,深度学习在识别(感知智能)上已有突破,但在理解(认知智能)上还有局限性。

  目前来看,人工智能的发展方向认感知智能向认知能智能快速推进中,自然语言识别技术及预训练模型便成为AI领域中的热门赛道。一时间,超大规模的预训练模型成为全球人工智能技术研发的热点和竞争的焦点。

  不过,一直由腾讯、搜狗、华为、阿里达摩院等巨头轮番霸榜的权威中文语言识别评测基准CLUE榜单,日前被一家创业公司的轻量化预训练模型刷新。

  日前,澜舟科技的孟子轻量化预训练模型以十亿参数完成了此前百亿、千亿参数模型刷新的纪录,首战登顶中文语言理解权威评测基准CLUE榜单。此外,在HICOOL 2021 全球创业大赛中,孟子新一代认知服务引擎项目也从全球48个国家和地区的4018个项目中脱颖而出,获得人工智能/金融科技赛道第一名。

  澜舟科技创始人兼CEO周明表示,过去的两三年里,预训练模型在自然语言领域得到非常广泛的重视,各大公司学校都开展了预训练模型的研究,趋势就是预训练模型越大越好。“但也存在一个问题,就是模型越大训练的成本就越高,在提供服务的时候也要求客户的机器设备能力也要非常大,从而导致很多硬件能力低的中小企业用不起这些重量级预训练模型。”

  基于这一痛点,澜舟科技一直在考虑能不能把模型做得小一点,提高训练速度的同时也降低使用成本。最终,一个把大量知识融入、接入最好的数据的各种技术最优搭配,名为名为孟子的轻量化预训练模型诞生。

  周明表示,孟子轻量化的预训练模型是利用大规模的语料库,以无监督的方式的训练一个大规模的语言模型,这个语言模型输入一个句子或一个片段,基本上可以定义出每一个词和每个句子的语义,可以应用在机器翻译、问答搜索等场景。“在预训练基础上,澜舟科技开发了新一代的机器翻译、文本生成和行业搜索引擎等技术,并通过产业合作实现了技术落地。”

  当前,企业的数字化转型和智能化转型,也已经随着人工智能的发展从感知智能推进到认知智能,企业需要从大数据中获取信息,然后在知识图谱和和产业规则的基础上进行推理,最后形成的业务报表并对流程作出趋势判断等等。这种强烈的需求加上预训练模型的技术发展,认知智能赛道必然会迎来一个新的飞跃。

  不过周明坦言,虽然预训练模型充分利用大数据来建立语言模型,但是在做多轮对话或者需要对趋势作出判定,或者依赖知识图谱进行推理方面,认知智能目前还差强人意。“人脑在处理熟悉的事情时往往依赖数据和直觉,速度快但缺乏解释性,这类似与训练模型或深度学习;而在处理不熟悉事情时往往依赖规则、逻辑和推理,速度较慢,但是具备可解释性,更像是符号计算。当下的深度学习可以思考,如何通过一个模型将二者的优势结合,也就是数据和知识融合起来寻找解决思路。”

点击下载:
Copyright © Science and Technology Daily, All Rights Reserved 《中国科技财富》杂志社 版权所有
联系电话:010-58884176 来信与投稿:kjcf2013@163.com
京ICP备18063758号-1 地址:北京市海淀区复兴路15号 邮编:100038