大规模语言模型、类脑芯片、量子AI，这就是后深

大规模语言智能如何为商业搭建桥梁?AI计算的未来突破在于类脑芯片吗?当人工智能遇上量子计算,又会展现出怎样的场景?作为WAIC期间内容最硬核、最受AI开发者关注的技术活动,今年的WAIC·AI开发者论坛以「后深度学习的AI时代」为主题,邀请到了全球最具影响力的学术泰斗、企业高管、技术专家为开发者们带来了最前沿的分享。

2021 WAIC世界人工智能大会已于近日在上海落幕。

7 月 10 日,在机器之心承办的WAIC·AI开发者论坛上,阿里巴巴副总裁 & 达摩院语言技术实验室负责人司罗、类脑芯片研究领军人物及SynSense时识科技联合创始人和首席科学家 Giao Indiveri、中国惠普有限公司副总裁暨大中华区个人信息产品事业部总经理周信宏、登临科技创始人兼 CEO 李建文、RISC-V 国际开源 (RIOS) 实验室执行主任谭章熹、上海交通大学特聘教授陈海波、百度研究院量子计算研究所所长段润尧、好未来集团技术副总裁吴中勤、九章云极 DataCanvas 董事长方磊、云天励飞副总裁 & AI 产品中心负责人肖嵘、知乎合伙人兼 CTO 李大海、思谋科技联合创始人兼技术负责人刘枢博士以及 MdSpore 开源社区运营负责人黄之鹏等多位 AI 产业界代表进行主题演讲。

,机器之心于2021WAIC·AI开发者论坛期间启动 ‘AI开发者十问’ 特别策划,该策划将在接下来的一年内滚动邀请中外人工智能顶级专家向全球AI开发者分享专业研究洞见,解读最新的AI技术突破,解答AI开发者关心的趋势性问题。通过‘开发者十问’特别策划,机器之心将持续为全球AI开发者打造高质量的专业内容,为全球人工智能开发者提供最前沿的学术趋势,促进中外AI技术社区间的交流互动。特别策划内容将在机器之心旗下多渠道华语内容平台及英文AI科技媒体品牌Synced Review滚动首发。

除了这些精彩的主题演讲,WAIC·AI开发者论坛还揭晓了今年的WAIC·云帆奖得主,现场颁发了WAIC·黑客松奖杯。欢迎大家关注机器之心公众号了解云帆奖与黑客松获奖详情。

阿里巴巴副总裁司罗大规模语言智能为商业搭建桥梁

自2018年以来,谷歌BERT、OpenAI GPT-3等大规模预训练语言模型逐渐成为NLP界的主流,不仅可以完成问答、翻译、小说创作等一系列NLP任务,更开始了语言模型的商业化探索,催生一系列落地应用。「炼大模型」,为什么成为了NLP领域的大势所趋?

2021 WAIC•AI开发者论坛,阿里巴巴副总裁、达摩院语言技术实验室负责人司罗分享了「大规模语言智能如何为商业搭建桥梁」的主题内容。

说到自然语言智能领域的发展现状,司罗了三个关键点:

1.深度语言模型突破式发展, 引领重要自然语言技术取得进展;

2.公有云NLP技术服务从通用功能走向定制化服务;

3.自然语言技术逐步与行业/场景紧密结合, 产生更大价值。

第三个方向是各大科技巨头奋起争先的重点方向。阿里巴巴达摩院是最早投入预训练语言模型研究的团队之一,2017年10月,阿里巴巴成立了专注于自然语言智能的达摩院语言技术实验室,成立3年多来,达摩院语言技术实验室在国内外各类技术评测中取得了多项优异的成绩,并把完善后的技术沉淀到自身打造的自然语言技术平台中。

平台技术背后,是Alicemd自然语言预训练体系。AliceMd包括通用语言模型 StructBERT、多语言VECO、生成式PALM、多模态StructVBERT、结构化StructuralLM、知识驱动LatticeBERT、机器阅读理解UED、超大模型PLUG 等,目前大部分已经开源。

AliceMd具有阅读、写作、翻译、问答、搜索、摘要生成、对话等多种能力,目前已成为阿里的语言技术底座,日均调用量超过50亿次,活跃场景超过200个,已在跨境电商、客服、广告等数十个核心业务应用落地。未来,AliceMd将持续完善,向着更加智慧的方向发展,并持续进行生态技术开源。

类脑芯片研究领军人物、SynSense时识科技联合创始人Giao Indiveri

AI计算的未来突破在哪里

作为类脑芯片设计领域的绝对权威,Giao Indiveri教授具有20多年的模拟与混合信号硬件设计经验,并曾三次获得ERC欧洲研究理事会经费支持,这在类脑芯片领域前无古人。Giao Indiveri也是 「类脑计算概念提出者」、 加州理工学院传奇人物Carver Mead的学生之一。

2021 WAIC•AI开发者论坛,Giao Indiveri通过视频连线的方式进行了主题为《仿生的低功耗人工智能计算系统》的演讲。

Giao Indiveri先是回顾了近年来人工智能领域的突飞猛进。2011年,第一个使用反向传播方法训练的卷积神经网络大获成功。反向传播和卷积神经网络均早已被提出,但那一次获得真正令人印象深刻的性能,要归功于算力的提升和数据量的增长。

但我们仍注意到,现有计算模式仍需消耗大量资源在存储及功耗上。如何改善这些问题?最有希望的方法之一就是类脑计算,这恰好是SynSense时识科技聚焦的领域。

2017年3月,Giao Indiveri教授与其学生乔宁博士(现任SynSense时识科技CEO兼董事长)在瑞士苏黎世成立aiCTX公司,并在中国和瑞士两地积极推动可商用的类脑芯片研发。2020年4月母公司落地中国,之后又将aiCTX更名为SynSense时识科技。

仿真的人工神经网络真正的特征在于大规模的权重乘法或矩阵乘法,人工神经网络也会有类似加权的输入,但物理学在此类计算过程中发挥着更重要的作用,而突触不只是在做乘法。前者实际上是一种运行在计算机和GPU上的算法,生物神经网络真正使用的是时间-空间域运算和物理学。,人工智能领域需要一场计算范式方面的彻底转变。标准的计算基本基于冯诺依曼架构,CPU与内存的数据往复消耗了很多能量,而CPU内部的计算是很高效的,比大脑内部传输数据的成本更低。