Thoughts and prospects on large model research in aerodynamics
-
摘要:
大模型技术作为人工智能领域发展最为迅速的方向,在自然语言处理和计算机视觉等领域取得巨大成功,也在朝着赋能科学研究领域蓬勃发展,已成为空气动力学领域研究的全新手段,在指导加速空气动力实验与计算、辅助空气动力理论和知识发现等方面存在巨大潜力。本文首先对大模型进行了概述,分析了大模型的4个主要特征,并将大模型分为大语言模型、视觉大模型和科学大模型。其次,初步给出了空气动力学领域科学计算大模型的概念内涵,从流场预测、湍流建模、气动性能预测、气动外形设计等方面介绍了研究现状。然后,从模型架构、反馈对齐、大规模气动数据的生成等角度对空气动力学领域大模型的关键技术进行了深入分析和探讨。最后,对空气动力学领域大模型未来的重点发展方向,包括构建统一的预训练基础模型、融入气动知识支撑科学发现、发展领域智能体等,进行了展望。
Abstract:As one of the fastest-growing directions in artificial intelligence, the large model technology has achieved remarkable success in realms such as natural language processing and computer vision and is vigorously expanding its influence in empowering scientific research. It has also become a powerful tool in aerodynamics, possessing significant potential to expedite aerodynamic experiments and computations and assist aerodynamic theory and knowledge discovery. This paper begins by presenting an overview of large models for language processing, computer vision, and scientific computing. Subsequently, the paper outlines the conceptual framework of large models for scientific computing in aerodynamics, reviewing the current research progress from various perspectives, including flow field prediction, turbulence modeling, aerodynamic performance prediction, and aerodynamic configuration design. Furthermore, key techniques of large models in aerodynamics are discussed in-depth from the perspectives of model architecture, feedback alignment, and the generation of big aerodynamic data. Lastly, developing directions of large models in aerodynamics are prospected, including the construction of a unified pre-trained foundational model, the integration of aerodynamic knowledge to support scientific discoveries, and the development of discipline-specific agents.
-
Keywords:
- Aerodynamics /
- artificial intelligence /
- large models /
- deep learning /
- fluid mechanics
-
0. 引 言
空气动力学是研究空气流动及其与物体相互作用产生的现象与规律的一门学科。涉及航空、航天、交通、气象、建筑、能源等诸多应用领域,特别是对航空航天飞行器研制而言,空气动力学是重要理论基础和共性关键技术,它的每一次理论和技术的突破都带来飞行器的更新换代。空气动力学发展至今,经历了19世纪初的实验研究、20世纪的理论研究、20世纪70年代的数值模拟3种研究范式。
随着智能技术的深入发展,与科学计算的融合不断迸发出新的火花,形成了人工智能赋能科学研究(artificial intelligence for science, AI4S)的新范式[1-2],并在物理机理挖掘[3]、新型材料发现[4-5]、药物分子合成[6]、科学规律探索[7]、交通运输[8]、能源[9]、医疗[10]、环境等众多学科交叉领域应用深入拓展,成为指导科学实验、启发理论及算法创新、加速和优化科学计算等促进科学研究创新发展的重要手段。这种范式通过物理驱动、数据-机理融合驱动、数据驱动等多种途径,在气动数据融合[11]、气动外形设计、流场预测、气动力/热预测、湍流建模以及气动知识库构建等方面涌现了大量高价值研究及应用成果 [12]。
近年来,伴随数据的增长[13]、算法的进步[14-16]、硬件的升级,以及人们对通用人工智能的持续追求,大模型技术[17]应运而生,并在自然语言处理和计算机视觉领域取得巨大成功。相较于传统智能模型,大模型拥有更多网络参数,使用更多的数据进行训练,具有强大的表达能力、预测能力、泛化能力和更强的通用性,成为了人工智能技术最活跃、进展最快的研究领域。空气动力学领域也出现了若干大模型,成为空气动力学研究的新手段。因此,本文重点从空气动力学领域大模型的概念、研究现状、关键技术难点、未来发展趋势等方面进行梳理、分析和展望。
1. 大模型概述
目前业界和学术界对大模型尚没有明确的定义,广义的大模型是指具有大量参数和复杂结构的深度学习模型,通常模型参数量达到亿级以上,狭义的大模型是指大语言模型(large language model, LLM)[18-19],本文所述大模型均指广义的大模型。和传统较小规模的神经网络模型相比,大模型可以在大量数据中捕捉更加丰富的特征和模式,具有更强的表达能力、更高的预测准确性和更广泛的任务适应能力,主要有以下几个特征和区别。一是模型规模更大。小模型一般包含数万个参数,小型计算集群甚至个人计算机即可进行训练;大模型通常包含数十亿甚至数万亿个参数,需要海量的数据和算力支撑。二是泛化能力更强[20-21]。由于大模型经过了海量数据的训练,使模型学习到了更多的数据共性和规律,从而具有了更强的泛化能力。三是拓展性更强。传统智能模型范畴内,不同类型的小模型需要单独构建,各领域模型之间像一个个孤岛,模型效率和质量较差;大模型可以通过“大规模预训练+微调”的范式满足多元化任务需求,预训练实现多种基础能力,微调后适应多种细分场景,摆脱AI能力碎片化开发的束缚,缩短模型的开发周期,并得到更好的模型训练效果。四是出现“涌现”效应[22]。参数量和数据量达到一定规模后,大模型超越样本提供的特征,出现非预知的行为,在各种任务上表现出超出预期的性能提升,实现1+1>2的融合式涌现,这是小模型所不具备的特性。
目前业界和学术界暂未对大模型提出明确分类方法或原则,参考业界主流观点,根据应用场景、数据类型可将大模型分为大语言模型、视觉大模型和科学大模型。
大语言模型主要处理和分析文本数据,重点是语言理解和生成能力。自然语言处理是大模型发展最早、技术最成熟、应用最成功的领域之一,并发展出上下文学习[23-24]、指令微调[25]、基于人工反馈的强化学习机制[26-27]等多项关键技术。大语言模型通过大规模文本数据训练,可以实现文本翻译、舆情监控、智能问答、写作、代码生成等任务,并展现出接近通用人工智能的性能特点。OpenAI的GPT系列[18, 24, 28]、Google的BERT[19]和Bard[29]、科大讯飞的星火、百度的文心一言、智谱AI的ChatGLM[30]等均属于大语言模型。
视觉大模型(computer vision large model, CVLM)主要处理和分析图像数据,重点是图像的理解和生成能力。这类模型通过大规模图像数据训练,可以实现图像分类、图像分割[31-32]、目标检测[33]、姿态估计、人脸识别、图形图像生成等任务。近年来,图形图像生成已成为该领域大模型研究的研究热点方向,二维、三维对象生成相关的智能模型不断涌现[34-37],例如,Stable-Diffusion[38]、Imagen[39]、Midjourney[40]、Sora[41]、Vidu[42-43]等。
科学大模型主要处理和分析数值、科学领域数据,重点是物理规律理解和知识生成能力。科学大模型可提升研究效率和精确度,为科学研究范式创新升级提供支撑,已在药物研发[44]、材料科学[45]、分子模拟[46]、天气预报[47-49]、流场预测[50]等领域取得若干突出成果。相较于大语言模型和计算机视觉大模型,科学大模型发展的成熟度相对较低。究其原因,一是科学数据通常具有超高维度、非线性、强空间差异性等特点。自然语言处理的对象在语义空间内;科学计算面对的是物理空间,范围更大,包含语义空间,且科学数据涉及动力、结构、流动、声学、电磁、分子、热力、光学等诸多领域,不仅包括文本、图像,还包括表征空间实体的网格(Mesh)、表征关系的图(Graph)、表征时空/流动/声学/电磁等分布的场(Field)、表征离散演化的序列(Sequence)等,这些数据在维度、结构、模态、物理特性上存在巨大差异,获取、训练和生成这些数据更加困难。二是模型需要理解的物理现象极其复杂。例如,临近空间高超声速流动现象,往往包含了真实气体效应、稀薄气体效应和黏性干扰效应等多种复杂的物理、化学和流动特性,采用智能模型学习其所蕴含的物理规律依然十分困难。
目前,大模型正在向着多模态方向发展,这些模型可以综合处理多种不同类型的数据,例如文本、图像、音频、科学数据等。大语言模型、视觉大模型和科学大模型也并非“烟囱式”独立发展,相互之间已实现关联、调用、融合,共同解决特定场景、特定领域问题。
2. 空气动力学领域大模型研究现状
如引言所述,空气动力学已经形成了理论、物理实验和数值模拟等3种传统研究范式。相较于智能空气动力学相关技术,在空气动力学研究中引入大模型技术的促进效果主要在两个方面。
一是通用的大语言模型、视觉大模型技术直接赋能现有研究范式,辅助空气动力学理论和模型研究,指导加速空气动力学领域实验和数值计算。例如:在基础理论创新方面,大模型具有更大参数规模、更强的特征学习能力,可实现具有更强通用性和泛化性的知识发现和自动假设生成,甚至涌现出新规律新知识。在物理实验和数值模拟方面,可进一步发挥大模型的领域智能体优势,通过将其与智能监测技术结合,加速风洞试验智能化转型,提高数据生产质效;通过与智能感知技术结合,实现飞行试验环境自动感知,缩短飞行试验周期;将视觉大模型技术与计算流体力学(Computational Fluid Dynamics, CFD)结合,实现高质量数值模拟网格智能生成,加速气动科学问题求解。
二是构建空气动力学领域的科学计算大模型。空气动力学领域的科学计算大模型泛指所有研究空气动力学现象与规律、包含大规模参数和复杂结构、具备前述4个特征的深度神经网络模型。这些模型主要处理飞行器几何外形和空气流动数据,以及相关联的结构、电磁、热力、声学等数据,揭示、预测数据之间蕴含的物理规律。本文主要针对此类大模型进行分析讨论。
由于高质量数据样本稀有、流动问题复杂、通用模型架构难以适用等诸多原因,空气动力学领域大模型研究尚处于起步阶段,虽然在流场预测、湍流建模、气动性能预测、气动外形设计等方面取得了一定进展,但已有相关大模型成果较少、实用性有待提升,下面对部分典型研究成果作简要介绍。
在流场预测方面,主要介绍气象预测和飞行器流场预测两类。如图1所示,气象预测任务得益于拥有较大规模高质量观测数据作为基础,是大模型应用研究起步较早、成果较为丰硕的一个领域。2022年,英伟达公司基于Modulus框架,结合自适应傅立叶神经算子模型推出了天气预报预训练模型FourCastNet[51]。该模型可预测离地表10 m处的风速以及6 h的总降雨量,模型在预训练阶段采用有监督训练方式学习历史气象值时间序列与未来时刻的映射关系;微调阶段以自回归模式预测未来时刻气象状态。虽然该模型经过一次训练即可对测试集上数据进行快速预测,但是其预测精度仍落后于数值预报方法。2023年,华为公司在Nature上发表了盘古气象大模型[47]研究成果。该模型采用多时间尺度模型进行组合的方法,可高效处理不均匀的三维气象数据,从而提高气象预报模型的精度,实验表明盘古气象大模型成为首个精度超过传统数值预报方法的人工智能预测模型。华为提出的3DEST(3D Earth Specific Transformer)模型,通过强化地球特定的先验信息,可高效处理复杂气象数据。针对大型客机巡航状态全流场高精度预测问题,2022年中国商用飞机有限责任公司发布了“东方·御风”大模型。该模型基于ViT(Vision Transformer)[52]和编码器-解码器网络结构,对大型客机二维超临界翼型巡航状态全流场进行高精度预测,极大缩短仿真模拟时间周期。随后,团队将研究对象从二维翼型拓展到三维机翼,发布“东方·翼风”大模型[53]。该模型首先构建自编码器网络获取高维流场特征的隐空间低维表示,再利用多专家解码器模型学习飞行工况参数、机翼几何外形与流场隐空间低维表示之间的映射关系,最后调用训练好的模型,对超临界机翼不同飞行工况下相应的流场信息进行推理。另外,数据集方面,斯坦福大学构建了首个流体力学机器学习数据集BLASTNet,用于解决流体力学长期缺乏公开、大规模数据集的问题,目前数据集已经从BLASTNet1.0[54]发展到BLASTNet2.0[55],具有较强的应用价值和发展前景。
在湍流建模方面,针对现有智能建模方法因网络规模较小导致拟合能力较弱、复杂湍流问题求解精度受限等问题,西北工业大学设计了“秦岭·翱翔”流体力学大模型[56],该模型依托中国空气动力研究与发展中心主持研发的国家数值风洞(National Numerical Windtunnel,NNW)工程系列流场解算软件生成的大量流场数据,训练面向工程高雷诺数的人工智能湍流模型和端到端复杂流场快速预测模型,实现了高精度流场信息预测、全机阻力特性和流场特征的准确预测、湍流等复杂流动智能预测。
在气动性能预测方面,目前暂无公开发布的大模型,但一些研究成果已经具有大模型雏形,通过增加训练数据和模型网络参数规模,具有发展为大模型的潜力。国防科技大学Shen等[57]提出了一种面向三维飞行器外形的压力分布预测深度学习框架,该框架基于点云几何表示来实现飞行器三维外形学习,基于PointNet++[58]神经网络,学习飞行器外形特征,并推理与点云坐标对应的压力系数。该框架具有较强的泛化性能,能接收不同分辨率的点云作为输入。中国空气动力研究与发展中心提出了一种基于几何预训练基础模型的三维外形气动系数预测模型框架。该框架同样采用点云对飞行器三维外形进行几何表征,基于Transformer [16]架构和自编码器构建几何预训练基础模型,通过网络多级特征结构,采用无监督预训练方式,实现三维构型几何特征的局部和全局特征自动提取与表征;在几何预训练基础模型前提下,针对气动系数预测任务,添加回归网络,对典型飞行工况气动系数进行推理预测。该框架也具有较强的泛化性能,可适应任意飞行器三维构型几何变化。
在气动外形设计方面,现有智能模型研究主要采用图像或参数化设计方式,网络规模较小,难以解决传统参数化设计拓扑结构受限、泛化能力较弱的问题。中国空气动力研究与发展中心研制了生成式气动外形设计大模型—“风雷”[59],提出了一种三维气动外形生成式设计深度学习框架。在几何表征方面,该框架采用点云对三维气动外形进行通用描述。首先,框架基于Transformer架构实现飞行器三维几何预训练基础模型,采用“通用几何外形数据+飞行器领域几何外形数据”方式进行无监督、生成式预训练,获得三维外形的低维隐空间特征;然后,搭建嵌入气动性能引导的条件扩散模型,并在隐空间中进行训练,实现三维气动外形隐空间的可控扩散生成。该框架能够根据气动性能端到端地快速生成大量点云气动外形,生成的点云气动外形可以使用气动性能智能预测模型进行评估筛选,还可以通过网格化技术转换为传统求解器可用的网格数据。该框架具有较强的泛化能力,可快速生成不同拓扑结构的飞行器三维构型,应用于概念设计阶段,辅助设计师快速生成初始外形方案,提升设计效率。
3. 空气动力学领域大模型研究关键问题
3.1 空气动力学领域大模型架构技术
模型架构影响着模型解决问题的能力,而模型架构与数据结构、问题内在机理的适配程度决定着这一能力的上限。以Transformer架构为例,Transformer架构着眼于序列内部的关联,充分利用注意力机制模拟人类阅读理解语言的过程,捕获数据内长距离的依赖关系,解决了LSTM、RNN等模型难以处理序列中长距离依赖和易过拟合等问题,并且具备突出的并行计算能力,为大语言模型等针对序列化数据处理的大模型发展提供了架构基础。同时,Transformer架构处理自然语言的模式,可以较便利地推广应用于具有类似数据结构的领域当中。最为突出的例子是ViT模型,该模型极大地促进了计算机视觉领域的发展。对于空气动力学领域,关注的对象是气动外形、外形附近的流体运动以及气动外形与流体的相互作用,发展空气动力学领域大模型,关键在于能否提出最大程度容纳领域知识、符合领域数据特点的模型架构。
目前,智能模型技术主要采用两类架构,一类是学习函数映射关系的经典神经网络模型,包括多层感知机、卷积神经网络、递归神经网络、Transformer等,适用于稳态/非稳态气动特性和流场的建模分析;另一类是用于学习算子空间的算子网络模型,基于通用逼近定理(universal approximation theorem, UAT)等理论推导出来的网络架构,如深度算子网络[60](deep operator networks, DeepOnet)、傅里叶神经算子[61](Fourier neural operator, FNO)和Kolmogorov-Arnold网络[62](Kolmogorov Arnold networks, KAN)等架构,适用于微分方程求解等场景。基于这两类架构构建空气动力学领域大模型重点需考虑将物理规律和人类经验融入模型架构,以降低模型对数据的需求,进一步提高模型的可解释性和泛化能力。主要包括:
1) 气动外形几何约束的融入。气动外形是飞行器与流动空气相互作用的界面,所有流动模拟和受力特性计算主要基于气动外形展开,是空气动力学领域最基础、最核心的对象之一,气动外形的几何通用基础模型也是空气动力学领域大模型的基础,而气动外形复杂多样、自由度高,在几何通用基础模型构建时需充分考虑气动外形的几何约束,包括对称性、连通性、凸性、光滑性约束等。例如,大多数飞行器的气动外形都具有严格的对称性,模型在输入和输出气动外形时,需要具备对称性的分析和嵌入机制(如构造对称性分类器、对称化操作算子等模块),使模型能够在训练过程中学习并应用飞行器气动外形中的对称性规则。气动外形通常表现为连续、局部光滑的单一闭合曲面,可以考虑在模型架构中引入判断数据局部光滑性、连通性的检测与校正机制。
2) 气动规律和知识的融入。一是将因果分析融入模型架构,引入因果知识,根据因果特征区分因果变量和非因果变量,实现更高效可靠的降维;二是引入数理规律知识,如微分方程、函数关系、伽利略不变性等,作为约束条件规范训练过程,通常将约束符合程度量化添加到训练的损失函数中,以此实现具有领域知识的模型融入。Karniadakis等提出的PINN[3,63-64]模型是该方法的典型代表。
此外,尽管目前Transformer架构在预训练的大模型和各种下游任务中展示出了强大的性能,但其也对算力提出了巨大的需求。状态空间模型[62-63](state space mode, SSM),如Mamba[67],作为一种可能替代基于自监督学习的Transformer模型方案,近年来已受到广泛关注,同时,该架构蕴含的动力学反馈机制也与空气动力学的内在机理契合,有望在空气动力学领域大模型研究中应用实践。
3.2 空气动力学领域生成式模型反馈机制
生成式AI是近年来深度学习领域发展最为迅猛的方向,是在已有数据、知识归纳基础上学习数据所代表的联合概率分布,然后再基于这一概率空间根据用户需求和提示进行新内容的生成。反馈对齐是生成式AI的关键技术,其作用是检验AI的输出与期望的结果相匹配,避免产生偏见或其他不符合人类意图和价值观的输出,具体包括技术对齐、伦理对齐、法律对齐和社会对齐等。科学计算生成式模型的对齐和大语言模型、“文生图”大模型的对齐存在一定的差别,主要体现在:一是在对齐内涵方面,大语言模型、“文生图”大模型的对齐更强调伦理、法律和社会价值观的对齐,而科学计算生成式模型通常更注重物理规律及技术领域的对齐。二是在对齐形式方面,大语言模型、“文生图”大模型的技术对齐是概念、语法上的对齐,更重视定性符合,而科学计算生成式模型的对齐则要求生成结果与提示数据间定量符合,例如,通常“文生图、文生体”对齐重点考虑生成结果图像或几何体合理即可满足要求,而气动设计的对齐则需要对生成的几何外形进行气动/性能分析,检验其是否满足输入已经给定的生成条件要求。三是在反馈方式方面,通用大模型通常需要人工进行标注,再使用基于人类反馈的强化学习(reinforcement learning from human feedback, RLHF)[26]技术将人类反馈嵌入训练过程,从而增强模型对人类意图的理解和满足程度;而科学计算生成式模型的反馈如图2所示,需要耦合面向生成对象的专业数值计算或定量分析工具,再将计算结果反馈到训练过程。因此,空气动力生成式模型反馈对齐的关键技术主要是:
1) 传统CFD有效融入智能计算的技术。为了在反馈对齐过程中对生成对象的气动特性进行高效准确评估,可采用CFD技术对生成对象的气动特性进行计算。这一方面需要基于AI生成的外形自动构建计算网格,以气动设计大模型为例,若AI模型输出的是非网格形式的数据(例如点云、体素等),需要通过某些手段将其转为可计算的网格形式;另一方面还需要在大模型训练的智能计算框架下嵌入CFD流场解算工具,由于传统的CFD流场求解主要基于高性能计算平台实现,智能模型训练主要基于智能计算平台实现,二者并行计算模式存在一定差异,为了保证计算效率,需要对“高性能计算+智能计算”的混合计算架构进行优化。
2) 创新气动布局的检测与反馈。生成新颖的气动外形是工程领域构建生成式气动布局设计大模型的主要动机之一,其本质是基座模型或预训练模型中的一些关键特征在生成时以一定概率得以体现、并组合生成有意义且符合期望的新颖设计。在生成过程中,对新颖设计的有效性进行检测并将结果融入训练的梯度反传过程是一项关键技术,可考虑采用2种技术路线实现:一是预先构建气动布局智能分类模型,快速识别具有新颖拓扑结构的布局;二是借助气动性能进行判断,即利用已有数据样本预先训练气动特性智能预测模型,并将其接入大模型,在反馈对齐时将其输出的预测结果与上段提到的CFD评估结果进行对比,若差异显著则表明可能出现了具有新拓扑结构的气动布局。
3) RAG(Retrieval-Augmented Generation)[68]技术推广应用于科学大模型的反馈对齐。RAG技术是一种用于解决LLM偏见、幻觉和时效性的技术,其核心是外挂知识库,通过检索外部知识库来获得高质量的问答对(语料),并使用上下文学习来改进LLM生成效果的方法,可有效克服LLM在面对幻觉、最新知识和复杂任务时能力不足的问题。该技术不仅适用于LLM,还适用于科学大模型,通过构建空气动力学领域知识库,在生成过程中融入气动规律和专家设计经验作为提示或约束,可提高生成对象的有效性。
3.3 大规模气动数据生成技术
大规模高精度数据是构建大模型的基础,但空气动力学领域数据样本总量少、单个样本规模大,精度且格式各异。因此,为构建满足预期的空气动力学领域大模型,需要解决训练数据生成方面的三个问题:
一是历史数据的清洗与补全。虽然国内外空气动力学相关研究机构各自都产生了大量的试验数据,但普遍存在数据信息记录不完整、要素不全,甚至出现部分人为错误等问题,需要对历史数据进行清洗与补全。针对一些信息不完整的数据,可通过数据融合技术进行补全,例如,对于只有气动力数据没有压力载荷数据的情况,可以通过学习CFD气动力数据与压力数据之间的关联关系建立气动力数据与压力载荷数据之间的映射模型,进而实现由气动力试验数据重建压力载荷数据。
二是面向样本多样性和覆盖性需求的数据补充。虽然高可信度的气动数据样本较少,但希望这些小样本数据具有足够的代表性,因此,对于一些重要的状态点,必须通过试验或计算方法获取训练数据。这是一个试验设计问题,可考虑采用正交[69]/均匀试验设计方法或序贯试验设计[70]方法实现样本点选取。
三是建立融合多源多可信度数据的复合网络模型[71]。气动领域相关研究中,可通过工程估算、欧拉/纳维斯托克斯方程求解、风洞试验、飞行试验等多种手段获取气动数据,但不同手段获取的数据类型和精度等均存在较大差异。工程估算和欧拉/纳维斯托克斯方程求解获取数据成本较低、效率高,但结果精度略低;虽然风洞试验、飞行试验获得数据可信度更高,但获取成本也较高。因此,如图3所示,可以从不同来源数据间存在内在关联的理论入手,建立多保真度数据融合方法,即利用大量低可信度数据捕捉数据整体变化趋势,再利用少量高精度数据对整体进行修正,提升数据整体精度,从而获得大规模高质量数据集。还可借鉴现有多模态大LLM和视觉大模型等广泛应用的技术方法,结合气动数据特点实际,设计气动领域多模态数据融合架构,进一步提升训练数据规模和使用质效。
4. 发展展望
随着数据不断丰富、算力提升、算法改进,空气动力学领域大模型将改变信息分发和获取模式,革新数据和知识生产模式,实现全自动交互完成任务目标,成为科研工作加速器,其主要发展方向如下:
1) 构建空气动力学领域统一的预训练基础模型,支撑各类典型应用。目前,空气动力学领域仍然以直接构建垂直领域模型为主要研发模式,构建统一的预训练基础模型是未来研究重要方向。空气动力学研究空气流动及其与物体相互作用产生的现象与规律,因此可以考虑从流场和物体外形两个角度出发,构建预训练基础模型。一是气动外形预训练基础模型。通过对大量的通用几何外形和飞行器气动外形数据进行无监督预训练,使模型具备任意气动外形特征提取和重构能力,以此为基础通过气动数据微调开展气动外形设计、气动性能预测等研究工作。该工作需要对几何外形通用描述方法、几何预训练模型网络架构、气动外形几何知识嵌入等关键技术进行研究。二是流场预训练基础模型。通过对大量的流场数据进行无监督预训练,使模型具备任意流场特征提取和重构能力,以此为基础结合迁移学习技术、多种下游任务特定领域微调等探索解决流场预测、流场关键特征分析和提取以及更多其他应用问题。该工作需要对流场结构编码方式、流场预训练基础模型网络架构、流动规律知识嵌入等方面开展深入研究。
2) 气动领域专业大模型与知识库、LLM融合,提高科学发现效率。科学发现是“自发假设生成−试验−数据分析−规律发现”的过程,气动专业大模型与知识库、LLM融合,通过建立数据空间与语义空间的关联,可实现领域知识融入机器学习、高效自动推理,加速科学发现过程,提高科学发现效率。气动专业大模型与知识库、LLM具体融合的途径包含两方面:一是大语言模型对自然语言描述的问题和先验知识进行科学实体抽取和实体关系挖掘,得到结构化数据,再利用知识库进行推理,并将推理结果作为提示或约束融入专业大模型训练中;二是对训练得到的专业大模型进行分析研究,形成新的知识,例如,基于气动设计大模型,生成满足较高性能需求的创新布局,再对新布局的气动特性和流场进行分析,获得的规律可持续丰富现有的知识库,支撑更深更广的科学发现。
3) 构建气动领域智能体,支撑智能试验和具身智能飞行器研发。基于大模型的智能体(Agent)是人工智能发展的重要方向。智能体借助LLM专长的思维链推理能力,可自动化地决策并采取行动,直到完成用户设定的最终目标。当智能体被赋予一个目标时,通过独立地思考和行动,将目标实现过程分解为若干个可顺序完成的任务序列,再详细规划完成每个任务所需的具体步骤,并通过外部反馈信息及再思考等,创建解决问题的prompt。其关键特征包括自治性、知觉、反应能力、推理与决策能力、学习能力、通信能力以及目标导向性,可通俗地理解为:Agent = LLM+规划(Planning)+反馈(Feedback)+工具调用(Tool Invoke)。因此,基于空气动力学领域大模型,结合LLM作为服务入口和工具软件调度枢纽,可构建气动试验智能体,实现试验方案设计、试验过程监控与运行控制、试验数据实时分析评估与试验任务重规划的全流程智能管理。
此外,对空气动力学领域大模型进行轻量化裁剪,部署到边缘设备,通常以LLM的Agent作为调度枢纽,结合其他感知大模型、决策大模型作为感知与决策工具,调用驱动发动机、舵机等外围硬件设备,可发展出具有自主飞行能力的具身智能飞行器。
5. 结束语
本文初步给出了空气动力学领域大模型概念和特点,梳理了研究现状。针对空气动力学领域特点,深入探索了大模型研究的关键技术问题,在模型架构方面包括气动外形几何约束的融入、气动规律和知识的融入等,在生成式模型的反馈对齐分析方面包括传统CFD有效融入智能计算的技术、创新气动布局的检测与反馈、检索增强生成技术应用于科学大模型等,在大规模气动数据生成技术方面包括气动领域历史数据清洗与补全、数据样本的多样性和覆盖性选取方法、多源多可信度数据融合算法等。针对未来发展趋势,给出了展望,指出了重点发展方向。相关思考和结论可为空气动力学领域大模型研究提供参考。
大模型技术的应用将空气动力学领域研究推向了新的高地,其“大规模预训练+下游领域微调”的思想,可有效改善传统智能模型碎片化发展的现状,同时其强大的数据拟合能力,有望实现更深层次的数据挖潜,再次激发历史累积数据的价值。但是,仍需清楚认识到空气动力学领域大模型的研究和应用仍处于起步阶段,已有成果大多借鉴了计算机领域通用技术,探索发展本领域适用的模型架构将是未来研究重点。另外,由于大模型构建需要依赖大量训练数据,但气动领域数据呈现样本少、规模大、模态多、获取成本高、高维非线性等特点,利用大模型捕捉气动数据中蕴含的复杂规律难度仍较大,未来可围绕空气动力学相关基础理论和人工智能领域迁移学习、小样本学习和多模态学习等模型算法加强探索,逐步解决上述难题。
-
-
[1] WANG H C, FU T F, DU Y Q, et al . Scientific discovery in the age of artificial intelligence[J]. Nature,2023 ,620 :47 −60 . doi: 10.1038/s41586-023-06221-2[2] ZHANG X, WANG L M, HELWIG J, et al. Artificial intelligence for science in quantum, atomistic, and continuum systems[EB/OL]. 2023: arXiv: 2307.08423. http://arxiv.org/abs/2307.08423
[3] KARNIADAKIS G E, KEVREKIDIS I G, LU L, et al . Physics-informed machine learning[J]. Nature Reviews Physics,2021 ,3 :422 −440 . doi: 10.1038/s42254-021-00314-5[4] TAN R K, ZHANG N L, YE W J . A deep learning–based method for the design of microstructural materials[J]. Structural and Multidisciplinary Optimization,2020 ,61 (4 ):1417 −1438 . doi: 10.1007/s00158-019-02424-2[5] MERCHANT A, BATZNER S, SCHOENHOLZ S S, et al . Scaling deep learning for materials discovery[J]. Nature,2023 ,624 :80 −85 . doi: 10.1038/s41586-023-06735-9[6] JUMPER J, EVANS R, PRITZEL A, et al . Highly accurate protein structure prediction with AlphaFold[J]. Nature,2021 ,596 :583 −589 . doi: 10.1038/s41586-021-03819-2[7] FAWZI A, BALOG M, HUANG A, et al . Discovering faster matrix multiplication algorithms with reinforcement learning[J]. Nature,2022 ,610 :47 −53 . doi: 10.1038/s41586-022-05172-4[8] JIN G Y, LIANG Y X, FANG Y C, et al . Spatio-temporal graph neural networks for predictive learning in urban computing: A survey[J]. IEEE Transactions on Knowledge and Data Engineering,2024 ,36 (10 ):5388 −5408 . doi: 10.1109/TKDE.2023.3333824[9] ZHU Z Y, CHEN W Q, XIA R, et al . EForecaster: Unifying electricity forecasting with robust, flexible, and explainable machine learning algorithms[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2023 ,37 (13 ):15630 −15638 . doi: 10.1609/aaai.v37i13.26853[10] BLANCO-GONZÁLEZ A, CABEZÓN A, SECO-GONZÁLEZ A, et al . The role of AI in drug discovery: Challenges, opportunities, and strategies[J]. Pharmaceuticals,2023 ,16 (6 ):891 . doi: 10.3390/ph16060891[11] 唐志共, 袁先旭, 钱炜祺, 等 . 高速空气动力学三大手段数据融合研究进展[J]. 空气动力学学报,2023 ,41 (8 ):44 −58 . doi: 10.7638/kqdlxxb-2023.0096TANG Z G, YUAN X X, QIAN W Q, et al . Research progress on the fusion of data obtained by high-speed wind tunnels, CFD and model flight[J]. Acta Aerodynamica Sinica,2023 ,41 (8 ):44 −58 (in Chinese). doi: 10.7638/kqdlxxb-2023.0096[12] 唐志共, 朱林阳, 向星皓, 等 . 智能空气动力学若干研究进展及展望[J]. 空气动力学学报,2023 ,41 (7 ):1 −35 . doi: 10.7638/kqdlxxb-2023.0128TANG Z G, ZHU L Y, XIANG X H, et al . Some research progress and prospect of Intelligent Aerodynamics[J]. Acta Aerodynamica Sinica,2023 ,41 (7 ):1 −35 (in Chinese). doi: 10.7638/kqdlxxb-2023.0128[13] TAKAMOTO M, PRADITIA T, LEITERITZ R, et al. PDEBENCH: An extensive benchmark for scientific machine learning[EB/OL]. 2022: arXiv: 2210.07182. http://arxiv.org/abs/2210.07182
[14] LIU X, ZHANG F J, HOU Z Y, et al . Self-supervised learning: Generative or contrastive[J]. IEEE Transactions on Knowledge and Data Engineering,2023 ,35 (1 ):857 −876 . doi: 10.1109/TKDE.2021.3090866[15] ZHUANG F Z, QI Z Y, DUAN K Y, et al . A comprehensive survey on transfer learning[J]. Proceedings of the IEEE,2021 ,109 (1 ):43 −76 . doi: 10.1109/JPROC.2020.3004555[16] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[EB/OL]. 2017: arXiv: 1706.03762. http://arxiv.org/abs/1706.03762
[17] BOMMASANI R, HUDSON D A, ADELI E, et al. On the opportunities and risks of foundation models[EB/OL]. 2021: arXiv: 2108.07258. http://arxiv.org/abs/2108.07258
[18] RADFORD A, NARASIMHAN K, SALIMANS T, et al. Improving language understanding by generative pre-training[R/OL]. 2018. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
[19] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[EB/OL]. 2018: arXiv: 1810.04805. http://arxiv.org/abs/1810.04805
[20] KAPLAN J, MCCANDLISH S, HENIGHAN T, et al. Scaling laws for neural language models[EB/OL]. 2020: arXiv: 2001.08361. http://arxiv.org/abs/2001.08361
[21] HOFFMANN J, BORGEAUD S, MENSCH A, et al. Training compute-optimal large language models[EB/OL]. 2022: arXiv: 2203.15556. http://arxiv.org/abs/2203.15556
[22] WEI J, TAY Y, BOMMASANI R, et al. Emergent abilities of large language models[EB/OL]. 2022: arXiv: 2206.07682. http://arxiv.org/abs/2206.07682
[23] RAFFEL C, SHAZEER N, ROBERTS A, et al . Exploring the limits of transfer learning with a unified text-to-text transformer[J]. Journal of Machine Learning Research,2020 (140 ):1 −67 .[24] BROWN T B, MANN B, RYDER N, et al. Language models are few-shot learners[J]. Advances in Neural Information Processing Systems, 2020, 33: 1877−1901.
[25] CHUNG H W, HOU L, LONGPRE S, et al. Scaling instruction-finetuned language models[J].Journal of Machine Learning Research, 2024, 25(70): 1−53.
[26] OUYANG L, WU J, XU J, et al. Training language models to follow instructions with human feedback[J]. Advances in Neural Information Processing Systems, 2022, 35: 27730−27744.
[27] CHRISTIANO P, LEIKE J, BROWN T B, et al. Deep reinforcement learning from human preferences[EB/OL]. 2017: arXiv: 1706.03741. http://arxiv.org/abs/1706.03741
[28] OPENAI, ACHIAM J, ADLER S, et al. GPT-4 technical report[EB/OL]. 2023: arXiv: 2303.08774. http://arxiv.org/abs/2303.08774
[29] QIN H T, JI G P, KHAN S, et al . How good is google bard's visual understanding? An empirical study on open challenges[J]. Machine Intelligence Research,2023 ,20 (5 ):605 −613 . doi: 10.1007/s11633-023-1469-x[30] DU Z X, QIAN Y J, LIU X, et al. GLM: General language model pretraining with autoregressive blank infilling[EB/OL]. 2021: arXiv: 2103.10360. http://arxiv.org/abs/2103.10360
[31] KIRILLOV A, MINTUN E, RAVI N, et al. Segment anything[EB/OL]. 2023: arXiv: 2304.02643. http://arxiv.org/abs/2304.02643
[32] ZOU X Y, YANG J W, ZHANG H, et al. Segment everything everywhere all at once[EB/OL]. 2023: arXiv: 2304.06718. http://arxiv.org/abs/2304.06718
[33] XU Y F, ZHANG M D, FU C Y, et al. Multi-modal queried object detection in the wild[EB/OL]. 2023: arXiv: 2305.18980. http://arxiv.org/abs/2305.18980
[34] PARK J J, FLORENCE P, STRAUB J, et al. DeepSDF: Learning continuous signed distance functions for shape representation[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA. IEEE, 2019: 165-174.
[35] SHEN T C, GAO J, YIN K X, et al. Deep marching tetrahedra: A hybrid representation for high-resolution 3D shape synthesis[J]. Advances in Neural Information Processing Systems, 2021, 34: 6087-6101.
[36] POOLE B, JAIN A, BARRON J T, et al. DreamFusion: text-to-3D using 2D Diffusion[EB/OL]. 2022: arXiv: 2209.14988. http://arxiv.org/abs/2209.14988
[37] SIDDIQUI Y, ALLIEGRO A, ARTEMOV A, et al. MeshGPT: Generating triangle meshes with decoder-only transformers[EB/OL]. 2023: arXiv: 2311.15475. http://arxiv.org/abs/2311.15475
[38] ROMBACH R, BLATTMANN A, LORENZ D, et al. High-resolution image synthesis with latent diffusion models[C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA. IEEE, 2022: 10674-10685.
[39] SAHARIA C, CHAN W, SAXENA S, et al. Photorealistic text-to-image diffusion models with deep language understanding[EB/OL]. 2022: arXiv: 2205.11487. http://arxiv.org/abs/2205.11487
[40] Midjourney[Z/OL]. https://www.midjourney.com/. 2024-3-13.
[41] LIU Y X, ZHANG K, LI Y, et al. Sora: A review on background, technology, limitations, and opportunities of large vision models[EB/OL]. 2024: arXiv: 2402.17177. http://arxiv.org/abs/2402.17177
[42] BAO F, NIE S, XUE K W, et al. All are worth words: A ViT backbone for diffusion models[C]// 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada. IEEE, 2023: 22669-22679.
[43] BAO F, NIE S, XUE K W, et al. One transformer fits all distributions in multi-modal diffusion at scale[EB/OL]. 2023: arXiv: 2303.06555. http://arxiv.org/abs/2303.06555
[44] LIN X Y, XU C, XIONG Z P, et al . PanGu Drug Model: Learn a molecule like a human[J]. Science China Life Sciences,2023 ,66 (4 ):879 −882 . doi: 10.1007/s11427-022-2239-y[45] XIE F K, LU T L, MENG S, et al. GPTFF: A high-accuracy out-of-the-box universal AI force field for arbitrary inorganic materials[EB/OL]. 2024: arXiv: 2402.19327. http://arxiv.org/abs/2402.19327
[46] ZHANG D, LIU X, ZHANG X Y, et al. DPA-2: Towards a universal large atomic model for molecular and material simulation[EB/OL]. 2023: arXiv: 2312.15492. http://arxiv.org/abs/2312.15492
[47] BI K F, XIE L X, ZHANG H H, et al . Accurate medium-range global weather forecasting with 3D neural networks[J]. Nature,2023 ,619 :533 −538 . doi: 10.1038/s41586-023-06185-3[48] NGUYEN T, BRANDSTETTER J, KAPOOR A, et al. ClimaX: A foundation model for weather and climate[EB/OL]. 2023: arXiv: 2301.10343. http://arxiv.org/abs/2301.10343
[49] MAN X, ZHANG C H, FENG J, et al. W-MAE: Pre-trained weather model with masked autoencoder for multi-variable weather forecasting[EB/OL]. 2023: arXiv: 2304.08754. http://arxiv.org/abs/2304.08754
[50] HU J W, ZHANG W W . Flow field modeling of airfoil based on convolutional neural networks from transform domain perspective[J]. Aerospace Science and Technology,2023 ,136 :108198 . doi: 10.1016/j.ast.2023.108198[51] PATHAK J, SUBRAMANIAN S, HARRINGTON P, et al. FourCastNet: A global data-driven high-resolution weather model using adaptive fourier neural operators[EB/OL]. 2022: arXiv: 2202.11214. http://arxiv.org/abs/2202.11214
[52] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16 × 16 words: Transformers for image recognition at scale[EB/OL]. 2020: arXiv: 2010.11929. http://arxiv.org/abs/2010.11929
[53] DENG Z, WANG J, LIU H, et al . Prediction of transonic flow over supercritical airfoils using geometric-encoding and deep-learning strategies[J]. Physics of Fluids,2023 ,35 (7 ). doi: 10.1063/5.0155383[54] CHUNG W T, JUNG K S, CHEN J H, et al . BLASTNet: A call for community-involved big data in combustion machine learning[J]. Applications in Energy and Combustion Science,2022 ,12 :100087 . doi: 10.1016/j.jaecs.2022.100087[55] CHUNG W T, AKOUSH B, SHARMA P, et al. Turbulence in focus: benchmarking scaling behavior of 3D volumetric super-resolution with BLASTNet 2.0 data[EB/OL]. 2023: arXiv: 2309.13457. http://arxiv.org/abs/2309.13457
[56] SUN X, LIU Y, ZHANG W, et al. Development and deployment of data-driven turbulence model for three-dimensional complex configurations [J]. Machine Learning: Science and Technology, 2024.
[57] SHEN Y, HUANG W, WANG Z G, et al . A deep learning framework for aerodynamic pressure prediction on general three-dimensional configurations[J]. Physics of Fluids,2023 ,35 (10 ):075146 . doi: 10.1063/5.0172437[58] QI C R, YI L, SU H, et al. PointNet++: Deep hierarchical feature learning on point sets in a metric space[EB/OL]. 2017: arXiv: 1706.02413. http://arxiv.org/abs/1706.02413
[59] 基于昇思MindSpore打造的气动外形设计大模型平台-风雷正式发布[EB/OL]. (2024-09-26). https://mp.weixin.qq.com/s/t00IHpjWtN3Btjgzia1MHg [60] LU L, JIN P Z, KARNIADAKIS G E. DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators[EB/OL]. 2019: arXiv: 1910.03193. http://arxiv.org/abs/1910.03193
[61] LI Z Y, KOVACHKI N, AZIZZADENESHELI K, et al. Fourier neural operator for parametric partial differential equations[EB/OL]. 2020: arXiv: 2010.08895. http://arxiv.org/abs/2010.08895
[62] LIU Z M, WANG Y X, VAIDYA S, et al. KAN: Kolmogorov-arnold networks[EB/OL]. 2024: arXiv: 2404.19756. http://arxiv.org/abs/2404.19756
[63] RAISSI M, PERDIKARIS P, KARNIADAKIS G E. Physics informed deep learning (part I): Data-driven solutions of nonlinear partial differential equations[EB/OL]. 2017: arXiv: 1711.10561. http://arxiv.org/abs/1711.10561
[64] RAISSI M, PERDIKARIS P, KARNIADAKIS G E . Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations[J]. Journal of Computational Physics,2019 ,378 :686 −707 . doi: 10.1016/j.jcp.2018.10.045[65] KALMAN R E . A new approach to linear filtering and prediction problems[J]. Journal of Basic Engineering,1960 ,82 (1 ):35 −45 . doi: 10.1115/1.3662552[66] WANG X, WANG S, DING Y H, et al. State space model for new-generation network alternative to transformers: A survey[EB/OL]. 2024: arXiv: 2404.09516. http://arxiv.org/abs/2404.09516
[67] GU A, DAO T. Mamba: Linear-time sequence modeling with selective state spaces[EB/OL]. 2023: arXiv: 2312.00752. http://arxiv.org/abs/2312.00752
[68] GAO Y F, XIONG Y, GAO X Y, et al. Retrieval-augmented generation for large language models: A survey[EB/OL]. 2023: arXiv: 2312.10997. http://arxiv.org/abs/2312.10997
[69] 池元成, 张冶, 郑小鹏, 等 . 飞行器气动外形的正交设计与分析[J]. 宇航总体技术,2022 ,6 (1 ):50 −54 CHI Y C, ZHANG Y, ZHENG X P, et al . Orthogonal design and analysis of aircraft aerodynamic configuration[J]. Astronautical Systems Engineering Technology,2022 ,6 (1 ):50 −54 (in Chinese).[70] 宁晨伽, 王旭, 王文正, 等 . 高效率采样的数据关联融合气动力建模方法[J]. 空气动力学学报,2022 ,40 (5 ):39 −49 . doi: 10.7638/kqdlxxb-2021.0425NING C G /J /Q, WANG X, WANG W Z, et al . Data association and fusion aerodynamic modeling method based on efficient sampling[J]. Acta Aerodynamica Sinica,2022 ,40 (5 ):39 −49 (in Chinese). doi: 10.7638/kqdlxxb-2021.0425[71] HE L, QIAN W Q, ZHAO T, et al . Multi-fidelity aerodynamic data fusion with a deep neural network modeling method[J]. Entropy,2020 ,22 (9 ):1022 . doi: 10.3390/e22091022