登录

/

注册

首页 > 亿科项目 > 项目详情
我科学家发布国际上首个深度学习指令集和首个深度学习处理器架构
金陵 2016-03-14
导语

就在全世界媒体的焦点锁定于谷歌AlphaGo连续3盘战胜李世石的同时,中科院计算技术研究所分布了全球首个专门针对深度学习的处理器指令集DianNaoYu,一同问世的还有全球首个深度学习处理器架构寒武纪,相关的产业化工作也已经启动。

就在全世界媒体的焦点锁定于谷歌AlphaGo连续3盘战胜李世石的同时,2016年3月,中国科学院计算技术研究所陈云霁、陈天石课题组提出的深度学习处理器指令集DianNaoYu被计算机体系结构领域顶级国际会议ISCA2016所接收,其评分排名所有近300篇投稿的第一名。

神经网络系统是以人类大脑为原型的信息处理模式,模拟人类或动物大脑中神经细胞的活动方式。深度学习就是一类借鉴多层神经网络处理模式所发展起来的智能处理技术。这类技术已被微软、谷歌、脸书、阿里、讯飞、百度等公司广泛应用于计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并取得了极好的效果。

近日谷歌Deepmind开发的基于深度学习的围棋程序AlphaGo击败了世界围棋冠军李世石,被认为甚至已经达到了职业棋手的水平。AlphaGo所采用的深度学习技术就是一种大规模的人工神经网络,是对生物神经元和突触的一种抽象。它把一个个神经元和突触抽象成一个个数字,而这种数字组成的网络在一定程度上保留了人脑进行信息处理的一定的能力。因此,深度学习被公认为目前最重要的智能处理技术。

但是深度学习的基本操作是神经元和突触的处理,而传统的处理器指令集(包括x86和ARM等)是为了进行通用计算发展起来的,其基本操作为算术操作(加减乘除)和逻辑操作(与或非),往往需要数百甚至上千条指令才能完成一个神经元的处理,深度学习的处理效率不高。因此谷歌甚至需要使用上万个x86 CPU核运行7天来训练一个识别猫脸的深度学习神经网络。

陈云霁认为:目前限制智能发展的核心因素有两个:一是算法上还没有达到完善,我们对智能计算的过程理解不够。二是硬件。人脑有千亿神经元,百万亿突触构成的复杂网络,而现有芯片和这个还有多个数量级差距。

除了提出全球首个专门针对深度学习的处理器指令集DianNaoYu,陈云霁和陈天石课题组在国际上也提出了首个深度学习处理器架构寒武纪。而DianNaoYu则是寒武纪的指令集。DianNaoYu指令直接面对大规模神经元和突触的处理,一条指令即可完成一组神经元的处理,并对神经元和突触数据在芯片上的传输提供了一系列专门的支持。模拟实验表明,采用DianNaoYu指令集的深度学习处理器相对于x86指令集的CPU有两个数量级的性能提升。

图:陈云霁(左)和陈天石(右)兄弟

指令集是计算机软硬件生态体系的核心。Intel和ARM正是通过其指令集控制了PC和嵌入式生态体系。寒武纪在深度学习处理器指令集上的开创性进展,为我国占据智能产业生态的领导性地位提供了技术支撑。陈云霁表示,“中国在智能这样的新兴领域和国外差距不大,甚至在智能芯片上是引领世界的。例如我们的寒武纪,美国的哈佛、斯坦福、MIT、哥伦比亚等高校都跟在我们后面做。”

该处理器的相关产业化工作也已经启动。陈云霁表示,“我们正在成立寒武纪公司,将进行深度学习处理器的产业化,公司即将完成天使轮融资(可能是国内历史上最高估值的天使轮投资)。很多国内外公司都在迫切期待我们的产品。”

图:寒武纪芯片

图:寒武纪芯片的板卡

背景介绍:ISCA被公认为是计算机体系结构领域最重要的国际会议。四十多年来,计算机硬件的多项核心创新都出自于ISCA,包括RISC、缓存一致性、动态多发射等。我国迄今在该会议上发表论文仅十余篇。自2014年中科院提出首个深度学习处理器“寒武纪”之后,深度学习处理器已经成为ISCA最关注的研究方向之一。ISCA 2016上有近1/6的论文(来自MIT、Stanford和UCSD等国际知名机构)引用“寒武纪”的工作来进行深度学习处理器探索。

文章链接:

Shaoli Liu, Zidong Du, Jinhua Tao, Dong Han, Tao Luo, Yuan Xie, Yunji Chen, andTianshi Chen, "DianNaoYu: An Instruction Set Architecture for Neural Networks," InProceedings of the 43rd ACM/IEEE International Symposium on Computer Architecture (ISCA'16), 2016.

陈云霁研究员简介:

中国科学院计算技术研究所研究员,博导,Email:cyj@ict.ac.cn 

个人主页:http://sourcedb.ict.cas.cn/cn/jssrck/201007/t20100705_2892775.html

研究方向:计算机体系结构、机器学习 

个人简介:

陈云霁研究员出生于1983年,是龙芯首席科学家胡伟武的弟子,中国科学院计算技术研究所研究员,博士生导师。他带领计算机体系结构国家重点实验室未来计算组,从事面向机器学习的处理器研究。陈云霁14岁进入大学,24岁取得计算机博士学位,曾任龙芯3号总设计师,是中国计算机体系结构方面的青年领军人物。在此之前,他负责或参与了多款龙芯处理器的设计。他在包括ISCA、HPCA、ASPLOS、ISSCC、Hot Chips、IJCAI、FPGA、SPAA、IEEE Micro以及7种IEEE/ACM Trans.在内的学术会议及期刊上发表论文50余篇,申请专利30余项。在2015年的中国计算机学会(CCF)举行的颁奖大会上,陈云霁以第一顺位荣获2014年度CCF青年科学家奖。同年,入选《麻省理工科技评论》35岁以下的全球最佳35名创新人士。

陈天石副研究员简介:

中国科学院计算技术研究所副研究员,Email:chentianshi@ict.ac.cn

个人主页:http://novel.ict.ac.cn/tchen/

研究方向:计算机体系结构、计算智能

个人简介:

陈天石生于1985年。2005年毕业于中国科学技术大学少年班,获理学学士学位(数学与应用数学专业);2010年毕业于中国科学技术大学计算机学院,获工学博士学位。同年进入中国科学院计算技术研究所工作。在IEEE/ACM Transactions、ASPLOS、ISCA、MICRO、HPCA、IJCAI、AAAI、SPAA、DATE等重要期刊和会议上发表论文50余篇。曾获ASPLOS最佳论文奖(2014)、MICRO最佳论文奖(2014)、全国百篇优秀博士论文提名奖(2012)、中国计算机学会优秀博士论文奖(2011)、中国科学院优秀博士论文奖(2011)、中国科学院院长奖(2010)等荣誉。  

(本文信息来源:中科院计算技术研究所,由e科网整理编辑)

如若转载,请注明e科网。

如果你有好文章想发表or科研成果想展示推广,可以联系我们或免费注册拥有自己的主页

  • 深度学习
文章评论(3)
金陵[北京大学]

希望

2941天前 | 回复
爬上海岸的鱼[SYNNEX China]

谷歌有AlphaGo,我们有“寒武纪”深度学习处理器,希望以后AlphaGo跑在“寒武纪”处理器上,性能更加强大

2950天前 | 回复
梅西[北京工业大学]

一对计算机天才兄弟

2956天前 | 回复
登陆后参加评论
作者 金陵

本科生

北京大学

活跃作者
  • 爱因斯坦 科研工作者 北京航空航天大学 博士
  • 金陵 本科生 北京大学 本科
  • 梅西 本科生 北京工业大学 本科
客服微信 小编微信
联系方式:252188815@qq.com
联系电话:13581664931


发布成功!

确 定 关 闭