2019年9月,美国国家科学技术理事会(NSTC)发布《高性能计算、大数据与机器学习的融合》报告,对美国网络与信息技术研发计划(NITRD)大数据与高端计算研发机构间工作组于去年10月举行的同名会议进行了总结。
(1)随着数据量的急速增加,在科学需求的推动下,高性能计算(HPC)、大数据(BD)和机器学习(ML)不断融合。数据的产生不再是瓶颈,取而代之的是数据的管理、分析和推理。
(2)随着半导体缩放对性能提升的贡献逐渐减少,未来系统的异构性将不断增加。系统将需要全面提高灵活性并具备低延迟,以更有效地支持新的应用。此外,因为当前可信数据很少,需要新的工具与基准来处理HPC模拟、大数据和机器学习应用中遇到的通用问题。
(3)未来的计算生态系统将不同于当前的计算生态系统,更可能是将边缘计算、云计算和高性能计算结合起来。为实现这种无缝的生态系统,将需要新的编程算法、语言编译器、操作系统和运行时系统来提供新的抽象与服务。预计“边缘智能计算”的重要性将日益提升,其涉及网络边缘(近数据源)的智能数据采集或数据分类。
(4)HPC、BD和ML社区间需要开展更多的合作,以实现更高校快速的生态系统开发,更有效地服务于这三类社区。数据分析与HPC模拟的融合已经取得了一些进展,而由于技术和组织上的差异,支持HPC和BD社区的软件生态系统却呈现出完全不同的情况。
来源:美国NSTC