0
曙光-1000计算机系统
曙光-1000计算机系统
【概述】中国研制的大规模并行计算机系统。1995年由国家智能计算机研究院开发中心研制成功。该系统突破了一批大规模并行处理的关键技术，采用了国际90年代的最新技术它的峰值速度达到25亿次／秒，实际运算速度达到15.8亿次／秒浮点运算，内存容量达1024兆字节，居中国之首。该系统能解决工作站和大型机难以解决的问题。如，一个全国范围内的48小时天气预报程序只需运行3小时左右，而一般计算机要运行60小时以上，这就提高了预报的准确度。这是中国研制成功的第一家有自己版权的并行操作系统。
【技术特点】1可扩展性好。连接网络、输入输出(I/O)、系统软件等均可以扩展。它可以扩展到包括成百上千个结点计算机的MPP系统。它与对称式多处理机(SMP)系统和传统的向量(巨型)机相比,具有明显的优势。
2计算能力强,内存容量大,能解决工作站和大型机难以解决的大问题。它的实际运算速度达到每秒15.8亿次浮点运算。它能在30分钟内解出含15000个未知数的线性方程组,能在40小时内完成天然DNA整体电子结构计算,而小型机要连续计算3个月以上才能完成。
3独立设计的蛀洞(Wormhole)路由器芯片创造性地采用了异步和同步相结合的工作方式,消息传送速度快,稳定可靠。
4并行系统软件(操作系统、优化编译器及工具)高效实用。
5全面采用并行编程和调试环境。
6广泛采用国际标准,系统开放程度高,用户移植软件容易。
【主要技术指标】曙光1000有36个结点机。其中,计算结点机32个,服务结点机2个,I/O结点机2个;峰值计算速度为浮点25.6亿次/秒,实际达到15.8亿次/秒;内存容量为1024兆字节;采用基于Wormhole机制的二维Mesh通讯网,结点与网络通讯总带宽为2.88GB/秒;运行C、C++和并行Fortran程序,提供并行优化重构工具PORT和串行程序自动并行化工具Autopar;采用基于UNIX的并行操作系统和并行文件系统,并行编程环境PVM、EXPRESS和MPI并行程序行为动态监视工具ParaVision及并行程序调试环境NDB。 曙光1000可以用于天气预报、石油地震数据处理、航天器设计模拟、科学研究、教学、金融、证券等众多领域。它已经在我国大规模科学工程计算中发挥了重大作用。以曙光1000为计算主机的高性能计算服务中心即将在国内若干中心城市建立起来。为支持用户在曙光1000上进行算法研究和开发应用软件,国家有关部门即将设立国家高性能计算基金。
【硬件系统】1系统总框图 曙光1000是一个基于Message-passing机制的松散耦合大规模并行计算机系统。它包括32个基于i860的计算结点,1～2个系统服务结点子系统和2～3个I/O结点组成的外存子系统。这些结点由一个6×6的二维mesh网连接,每一个Mesh网络上有一个Wormhole路由器。整个系统有一个系统控制台,它负责系统的初始化和硬件故障诊断工作。用户工作平台是SUN Sparc-2工作站(或其他工作站,如SGI等)和一些终端设备。由每秒10Mb的Ethernet局域网将系统服务结点、控制台、Sparc-2工作站及终端设备连接起来。
2Mesh网 图1中的mesh是可扩充的。每一个结点机(包括系统服务结点机和I/O结点机)和一个Wormhole路由器(WRC)相连。结点的编号(物理地址)由X方向编号和Y方向编号两部分组成。结点的相对地址信息包含在Message中,一个WRC有10个输入或输出通道,每一个通道包含8条数据线,一个表示Message结束的TAIL信号、一个请求传输线REQ和一条回答信号线ACK。当一个Message由初始结点传到一个目的结点时,它只"穿过"途中的WRC,而不"进入"与这些WRC相连的结点机。Mesh采用X-Y路由算法。有多条虚通道共用一条单方向的物理通道。
3计算结点 一个计算结点机为一块插件板,其核心是一块i860XR芯片,主频为40MHz,字长64位,浮点运算速度为单精80MFlops,双精度60MFlops,标量运算速度为40MIPS。DRAM容量为32MB,带奇偶检测;EPROM容量为8KB。NVRAM容量为2KB,由电池供电。结点-mesh接口模块包含容量各为16KB的两个FIFO。结点-mesh间传输带宽为33MB/s,有CRC循环冗余码检测。结点板的RS-232模块直接同控制台系统的一块多用户卡相连,为系统控制台提供监视和为诊断结点机提供支持。计算结点机运行860 OS和用户程序。
4系统服务结点 服务结点主要是为管理系统资源(主要是结点机)而设置的。一个服务结点由一台带有ISA总线的486 PC担任,主频为50MHz。在EISA总线和Mesh网之间有一个EISA-Mesh Interface(EMI)模块。EMI具有DMA机制,是一块EISA插板。同样,数据通路FIFO-mesh-FIFO上具有CRC检测。EMI与mesh网间的通讯速率为16MB/s。在用户较多、图形显示较频繁的情况下,可以设两个服务结点,它们通过共享一个资源表来协调工作。
5I/O结点机 一个I/O结点机由一台带EISA总线的486 PC充任,同服务结点机一样,带有一块EMI插板。通过插在EISA总线上的SCSI卡,一个I/O结点机可配容量为4GB的硬磁盘。系统可设1～2个I/O结点机。I/O流量要求大的用户,可配更多的I/O结点机,但要相应减少计算结点机的数量。一个I/O结点机与Mesh网间传输数据的速度为16MB/s,各个I/O结点机运行并行文件系统,以实现并行文件操作。
6系统控制台 整个系统设一系统控制台,运行UNIX。该机上插有一块多用户卡。同32块计算结点机板上的RS-232串口相连。控制台同计算结点机可以点对点地通讯,也可以以广播方式同时同所有计算结点机通讯。它的主要功能是系统初始化,监视计算结点操作系统和用户程序的运行状态,动态查询结点机资源配置表和对计算结点机硬件故障进行诊断。
7前端机网络系统 曙光1000的用户工作平台是一台或多台SUN Sparc-2彩色图形工作站(或SGI图形工作站)及一些终端。这些设备通过局域网(以太网)与系统服务结点机连接。局域网遵从TCP/IP协议,其数据传输率为10Mb/s。实际上,Mesh网系统是前端网络系统的计算服务器,用户程序在前端机上编辑、编译、链接和调试,然后通过服务结点发往计算结点运行,计算结果在前端机上显示。
【软件系统】1.操作系统 曙光1000的操作系统是以UNIX为基础的。计算结点上的操作系统是一个微核心操作系统,支持虚存管理、trap处理、作业管理和消息传递,而将文件服务作为Client运行于用户空间。 服务结点的操作系统以Mach2.6为基础,支持多线机制。它主要用于系统的管理,即节点机的分配。I/O结点运行并行文件服务器PFS。这两类结点与计算结点有相同的消息传递界面。 曙光1000采用带流量控制的消息传递协议,这种协议既是高效的又是可靠的。
2.并行优化编译器及工具 结点程序编译优化分为源程序级和目标代码级。对于前者,采用了循环交换、循环合并和循环条块划分等措施。对于后者,曙光1000充分利用i860流水线、双指令与双操作模式和浮点Load指令实现了循环向量化。这两种级别的优化都取得了较好的效果。 Autopar是我们研制的自动程序并行化工具。它能识别并行循环,进行数据分割,最后得到循环级并行的并行FORTRAN源程序。 并行程序可视化工具是为曙光1000研制的,也可以移植到其他MPP系统。用户通过它能观察到程序动态进行状态,包括通信情况、负载平衡情况以及有无死锁发生等。
3.并行编程和调试工具环境 为方便用户编制和运行并行程序,曙光1000移植改造了NX、EXPRESS和PVM三种主要的界面和工具环境。NX是Paragon系统采用的一种并行用户程序界面,EXPRESS和PVM是都国际广泛采用的并行程序编程和运行环境。 并行程序调试器分为源程序级调试器NDB和汇编级调试器ADB。它们的主要功能有显示、设置和清除指令码(或数据)断点,读写内存,单步或连续执行程序,以及接收和传递当前进程现场内容,还能对多个结点上的程序进行调试。
4.并行文件系统PFS 曙光1000的多个I/O结点运行PFS文件服务器,支持用户读写文件的并发操作,增加了读写文件操作时同时工作的I/O通道数目,以便提高系统总的I/O带宽。
【概述】中国研制的大规模并行计算机系统。1995年由国家智能计算机研究院开发中心研制成功。该系统突破了一批大规模并行处理的关键技术，采用了国际90年代的最新技术它的峰值速度达到25亿次／秒，实际运算速度达到15.8亿次／秒浮点运算，内存容量达1024兆字节，居中国之首。该系统能解决工作站和大型机难以解决的问题。如，一个全国范围内的48小时天气预报程序只需运行3小时左右，而一般计算机要运行60小时以上，这就提高了预报的准确度。这是中国研制成功的第一家有自己版权的并行操作系统。
【技术特点】1可扩展性好。连接网络、输入输出(I/O)、系统软件等均可以扩展。它可以扩展到包括成百上千个结点计算机的MPP系统。它与对称式多处理机(SMP)系统和传统的向量(巨型)机相比,具有明显的优势。
2计算能力强,内存容量大,能解决工作站和大型机难以解决的大问题。它的实际运算速度达到每秒15.8亿次浮点运算。它能在30分钟内解出含15000个未知数的线性方程组,能在40小时内完成天然DNA整体电子结构计算,而小型机要连续计算3个月以上才能完成。
3独立设计的蛀洞(Wormhole)路由器芯片创造性地采用了异步和同步相结合的工作方式,消息传送速度快,稳定可靠。
4并行系统软件(操作系统、优化编译器及工具)高效实用。
5全面采用并行编程和调试环境。
6广泛采用国际标准,系统开放程度高,用户移植软件容易。
【主要技术指标】曙光1000有36个结点机。其中,计算结点机32个,服务结点机2个,I/O结点机2个;峰值计算速度为浮点25.6亿次/秒,实际达到15.8亿次/秒;内存容量为1024兆字节;采用基于Wormhole机制的二维Mesh通讯网,结点与网络通讯总带宽为2.88GB/秒;运行C、C++和并行Fortran程序,提供并行优化重构工具PORT和串行程序自动并行化工具Autopar;采用基于UNIX的并行操作系统和并行文件系统,并行编程环境PVM、EXPRESS和MPI并行程序行为动态监视工具ParaVision及并行程序调试环境NDB。 曙光1000可以用于天气预报、石油地震数据处理、航天器设计模拟、科学研究、教学、金融、证券等众多领域。它已经在我国大规模科学工程计算中发挥了重大作用。以曙光1000为计算主机的高性能计算服务中心即将在国内若干中心城市建立起来。为支持用户在曙光1000上进行算法研究和开发应用软件,国家有关部门即将设立国家高性能计算基金。
【硬件系统】1系统总框图 曙光1000是一个基于Message-passing机制的松散耦合大规模并行计算机系统。它包括32个基于i860的计算结点,1～2个系统服务结点子系统和2～3个I/O结点组成的外存子系统。这些结点由一个6×6的二维mesh网连接,每一个Mesh网络上有一个Wormhole路由器。整个系统有一个系统控制台,它负责系统的初始化和硬件故障诊断工作。用户工作平台是SUN Sparc-2工作站(或其他工作站,如SGI等)和一些终端设备。由每秒10Mb的Ethernet局域网将系统服务结点、控制台、Sparc-2工作站及终端设备连接起来。
2Mesh网 图1中的mesh是可扩充的。每一个结点机(包括系统服务结点机和I/O结点机)和一个Wormhole路由器(WRC)相连。结点的编号(物理地址)由X方向编号和Y方向编号两部分组成。结点的相对地址信息包含在Message中,一个WRC有10个输入或输出通道,每一个通道包含8条数据线,一个表示Message结束的TAIL信号、一个请求传输线REQ和一条回答信号线ACK。当一个Message由初始结点传到一个目的结点时,它只"穿过"途中的WRC,而不"进入"与这些WRC相连的结点机。Mesh采用X-Y路由算法。有多条虚通道共用一条单方向的物理通道。
3计算结点 一个计算结点机为一块插件板,其核心是一块i860XR芯片,主频为40MHz,字长64位,浮点运算速度为单精80MFlops,双精度60MFlops,标量运算速度为40MIPS。DRAM容量为32MB,带奇偶检测;EPROM容量为8KB。NVRAM容量为2KB,由电池供电。结点-mesh接口模块包含容量各为16KB的两个FIFO。结点-mesh间传输带宽为33MB/s,有CRC循环冗余码检测。结点板的RS-232模块直接同控制台系统的一块多用户卡相连,为系统控制台提供监视和为诊断结点机提供支持。计算结点机运行860 OS和用户程序。
4系统服务结点 服务结点主要是为管理系统资源(主要是结点机)而设置的。一个服务结点由一台带有ISA总线的486 PC担任,主频为50MHz。在EISA总线和Mesh网之间有一个EISA-Mesh Interface(EMI)模块。EMI具有DMA机制,是一块EISA插板。同样,数据通路FIFO-mesh-FIFO上具有CRC检测。EMI与mesh网间的通讯速率为16MB/s。在用户较多、图形显示较频繁的情况下,可以设两个服务结点,它们通过共享一个资源表来协调工作。
5I/O结点机 一个I/O结点机由一台带EISA总线的486 PC充任,同服务结点机一样,带有一块EMI插板。通过插在EISA总线上的SCSI卡,一个I/O结点机可配容量为4GB的硬磁盘。系统可设1～2个I/O结点机。I/O流量要求大的用户,可配更多的I/O结点机,但要相应减少计算结点机的数量。一个I/O结点机与Mesh网间传输数据的速度为16MB/s,各个I/O结点机运行并行文件系统,以实现并行文件操作。
6系统控制台 整个系统设一系统控制台,运行UNIX。该机上插有一块多用户卡。同32块计算结点机板上的RS-232串口相连。控制台同计算结点机可以点对点地通讯,也可以以广播方式同时同所有计算结点机通讯。它的主要功能是系统初始化,监视计算结点操作系统和用户程序的运行状态,动态查询结点机资源配置表和对计算结点机硬件故障进行诊断。
7前端机网络系统 曙光1000的用户工作平台是一台或多台SUN Sparc-2彩色图形工作站(或SGI图形工作站)及一些终端。这些设备通过局域网(以太网)与系统服务结点机连接。局域网遵从TCP/IP协议,其数据传输率为10Mb/s。实际上,Mesh网系统是前端网络系统的计算服务器,用户程序在前端机上编辑、编译、链接和调试,然后通过服务结点发往计算结点运行,计算结果在前端机上显示。
【软件系统】1.操作系统 曙光1000的操作系统是以UNIX为基础的。计算结点上的操作系统是一个微核心操作系统,支持虚存管理、trap处理、作业管理和消息传递,而将文件服务作为Client运行于用户空间。 服务结点的操作系统以Mach2.6为基础,支持多线机制。它主要用于系统的管理,即节点机的分配。I/O结点运行并行文件服务器PFS。这两类结点与计算结点有相同的消息传递界面。 曙光1000采用带流量控制的消息传递协议,这种协议既是高效的又是可靠的。
2.并行优化编译器及工具 结点程序编译优化分为源程序级和目标代码级。对于前者,采用了循环交换、循环合并和循环条块划分等措施。对于后者,曙光1000充分利用i860流水线、双指令与双操作模式和浮点Load指令实现了循环向量化。这两种级别的优化都取得了较好的效果。 Autopar是我们研制的自动程序并行化工具。它能识别并行循环,进行数据分割,最后得到循环级并行的并行FORTRAN源程序。 并行程序可视化工具是为曙光1000研制的,也可以移植到其他MPP系统。用户通过它能观察到程序动态进行状态,包括通信情况、负载平衡情况以及有无死锁发生等。
3.并行编程和调试工具环境 为方便用户编制和运行并行程序,曙光1000移植改造了NX、EXPRESS和PVM三种主要的界面和工具环境。NX是Paragon系统采用的一种并行用户程序界面,EXPRESS和PVM是都国际广泛采用的并行程序编程和运行环境。 并行程序调试器分为源程序级调试器NDB和汇编级调试器ADB。它们的主要功能有显示、设置和清除指令码(或数据)断点,读写内存,单步或连续执行程序,以及接收和传递当前进程现场内容,还能对多个结点上的程序进行调试。
4.并行文件系统PFS 曙光1000的多个I/O结点运行PFS文件服务器,支持用户读写文件的并发操作,增加了读写文件操作时同时工作的I/O通道数目,以便提高系统总的I/O带宽。
