回顾计算机的发展历史,从串行到并行,从同构到异构,接下来会持续进化到超异构。超异构计算可以看做是CPU+CPU的同构并行和CPU+其他xPU的异构并行“有机”组合到一起,形成的一个新的超大系统;是由CPU、GPU、FPGA、DSA、ASIC以及其他各种加速引擎“有机”组成的新的宏系统。
从串行到超异构:计算机发展四阶段
第一阶段,串行计算。单核CPU和ASIC等都属于串行计算。
第二阶段,同构并行计算。CPU多核并行和GPU数以千计众核并行均属于同构并行计算。
第三阶段,异构并行计算。CPU+GPU、CPU+FPGA、CPU+DSA以及SOC都属于异构并行计算。(SOC属于异构的原因是,其他所有引擎的处理都是在CPU的控制之下,其他引擎难以直接数据通信。)
未来,将走向第四阶段,超异构并行阶段。把众多的CPU+xPU“有机”集成起来,形成超异构。
超异构计算的要素
2019年3月27日,英特尔中国研究院院长宋继强在2019新智元AI技术峰会上,针对未来多元化的计算需求问题,做了题为《AI计算迈入超异构时代》的演讲,认为超异构计算拥有三大要素:
超异构计算首先要有多种架构的芯片。超异构,异构的就是不同种类、不同功能的芯片;
其次,在多个节点上面都需要部署已经生产好的芯片;
最后,需要统一的异构计算软件来开发人员更好的对其进行利用。
Intel进一步提出要用六个不同的技术支柱来应对未来数据的多样化、数据量的爆发式增长,还有处理方式的多样性。这六大技术支柱就是:制程和封装、架构、内存和存储、互连、安全、软件。