针对制造工艺的快速、低成本机器学习，从物理模型中学习过渡。
三个要点
✔️ 在制造工艺中，为新工艺开发定性和准确的基于物理的模型面临着巨大的内在挑战和高昂的成本
✔️ 为解决这一问题，我们利用从基于物理的工艺模型中获得的大量低计算成本数据来解决这一问题。我们提出了一种基于迁移学习的方法，即先训练 ML 模型，然后在少量昂贵的实验数据上进行微调
✔️ 所提出的方法可将模型开发成本降低数年，实验成本降低 56-76%，计算成本降低一个数量级，预测误差降低 16-24%。
Accelerated and Inexpensive Machine Learning for Manufacturing Processes with Incomplete Mechanistic Knowledge
written by Jeremy Cleeman, Kian Agrawala, Rajiv Malhotra
[Submitted on 29 Apr 2023]
Comments: Manufacturing Letters, 2023
Subjects: Machine Learning (cs.LG); Materials Science (cond-mat.mtrl-sci)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
机器学习（ML）对制造过程中参数效应建模的兴趣与日俱增。这是因为最先进的方法侧重于降低生成训练数据的实验和计算成本，却忽略了为新工艺开发定性和准确的物理模型所需的固有和巨大成本。
为了解决这个问题，本文提出了一种基于过渡学习的方法，即先用基于物理过程模型（源模型）的大量计算成本低廉的数据训练 ML 模型，然后再用少量成本高昂的实验数据（目标模型）进行微调。新颖之处在于突破了源模型所需的定性准确性的界限。
我们已经对熔融长丝制造中的印刷线宽建模方法进行了评估。尽管源的功能和定量极不精确，但我们的方法将模型开发成本降低了数年，实验成本降低了 56-76%，计算成本降低了一个数量级，预测误差降低了 16-24%。
介绍
本文提出了一种多保真度学习方法，可在工艺物理机械知识有限的情况下降低模型开发成本（CD）。该方法用于模拟熔融长丝制造（FFF）中印刷线宽 W 与长丝喂料速率 F 和挤出机速度 S 的函数关系。该问题涉及复杂的物理现象，如非牛顿流体、摩擦、冷却、润湿和可压缩性。
机器学习（ML）模型在模拟制造过程中的参数效应方面很受欢迎，但从实验中生成必要的训练数据需要耗费大量时间和资源（实验成本CE）。从基于物理的过程模型中生成训练数据会产生运行模拟的计算成本 CC（CPU 时间），以及通过直观试错创建构成规律和数值方法所需的时间和人力资源（模型开发成本CD）。新工艺CD高的根本原因往往是缺乏对基本物理知识的定性了解。
多保真度学习包括使用大量廉价但不准确的数据（来源）训练 ML 模型，并使用少量昂贵但准确的数据（目标）对其进行微调。通过将计算过程模型作为源，将实验数据作为目标，与仅使用实验数据进行训练相比，CE降低了，与仅使用计算数据进行训练相比，CC降低了，从而捕捉到了潜在的真相。然而，这些任务都基于这样一个假设，即源必须与目标在质量上完全相同。因此，由于需要定性准确、基于物理的源，CD仍然很高。使用分析流程模型作为源可以进一步降低 CC，但不能降低CD。
由于新工艺本身的新颖性，不可能使用实验资源。本文针对这一问题，提出了一种新颖的多保真度学习方法，即使工艺物理的机械知识有限，也能减少CD。
技术
这种方法采用基于转换的多保真度学习，源是基于物理的过程模型，目标是实验。通过这种方法，最终的机器学习（ML）模型可以反映基本的实验事实，并降低实验成本（CE）。过程模型必须：(a) 包括一个或多个守恒定律，以尊重自然规律；(b) 无需实验校准或验证即可推断出构成定律的形状，从而降低模型开发成本（CD）；(c) 避免或尽量减少时空离散化，以尽量降低计算成本（CC）。有必要
在这项研究中，使用 Epsilon 支持向量回归（SVR）作为 ML 模型，并通过基于实例的 TrAdaBoostR2 过渡学习和高斯基函数进行微调。提升迭代次数为 30 次。源模型使用质量守恒定律，即 W = FA/Sh，其中 h 是喷嘴到压盘的距离，A 是灯丝横截面积。这一模型几乎完全忽略了挤出物理的复杂性，并做出了错误但简化的假设，即挤出线（或层）高度和 h 相等。生成 624 个源样本大约需要 10-6 个 CPU 小时。
实验在一台自制的 FFF 机器上进行，在 16 个相等的间隔 S（350-725 毫米/分钟）和 F（153-729 毫米/分钟）上打印聚乳酸线条，h = 0.7、0.85 和 1.2 毫米；W 用卡尺测量，并取三次测量的平均值。不稳定的打印方案被排除在外。首先，仅在实验目标数据上对 SVR 进行直接训练。逐渐使用更多的训练点，直到测试数据（数据集的其余部分）的均方误差（RMSE）不再下降。这种训练和测试使用随机抽样的方式进行了 1000 次，以获得直接学习的最小误差 RMSEdirect和相应的样本数 ndirect的平均值。在与 ndirect大小相同的源数据上进行迁移学习，并使用逐渐增加的目标数据量来反复确定最小目标数据集 nt，从而使迁移学习误差 RMSEt小于或等于 RMSEdirect。这就确保了不会为了降低成本而牺牲预测的准确性。
对迁移学习后得到的最终 SVR 的测试，是从未用于训练的实验数据中随机抽取的数据。测试数据集的大小与直接数据集相同，以防止训练与测试的比例出现极端偏差，并确保直接学习与迁移学习之间的公平比较。这种随机测试共进行了 30 次，得出平均 RMSEt。
结果
图 1 显示了三维图和代表性二维图中源模型与实验目标之间的功能差异。与源的线性假设相比，长丝喂料速率 F 和挤出机速度 S 对线宽 W 的实际影响显然是非线性的，尤其是在喷嘴高度 h 较低的情况下。
图 2a-c 显示了在实验数据上直接学习的测试有效误差仅随训练点数的变化而变化，揭示了 RMSEdirect 和ndirect（所有 h 均为 150）。图 2d-f 将 RMSEdirect与不同数量实验数据（即 F 和 S 的组合）的迁移学习误差进行比较。在一些情况下，由于迁移学习，RMSEt ≤ RMSEdirect和 nt < ndirect。
图 3 显示，尽管源模型中的机械知识在定性和定量上都不精确，但迁移学习 SVR 能够捕捉实验数据的非线性。这表明，尽管源模型存在简化假设，但迁移学习有能力更准确地模拟实验数据中的复杂关系。
| 图 1：h = (a) 0.7 mm (b) 0.85 mm (c) 1.2 mm 时的源和目标对比。进给速度 F 和平台速度 S，单位为毫米/分钟。 |
| 图 2：在 h = (a) 0.7 mm (b) 0.85 mm (c) 1.2 mm 条件下，直接学习的 RMSE 与学习点数量的函数关系。比较。进给速度 F 和平台速度 S，单位为毫米/分钟。 |
| 图 3：在 h = (a-d) 0.7 mm (e-h) 0.85 mm (i-l) 1.2 mm 时，转移训练模型与目标之间的比较。 |
与直接学习实验数据相比，所提出的方法可将实验成本（CEXP）降低 56-76%，误差降低 16-24%（表 1）。已开发的计算或分析过程模型可用作源模型或直接学习模型。这些模型与实验数据的定性和定量标准显示出良好的一致性。然而，这些模型达到这一水平需要时间和努力，分析方程从 2000 年到 2019 年，计算模拟从 2002 年到 2018 年。这表明，如果在 2000 年文献报道源模型时使用 Smart-ML，至少可以节省 15个人年的模型开发成本（CDEV）。
| 表 1. 直接学习和迁移学习的最小均方根误差和相应的训练样本数 |
总体而言，所提出的方法减少了对人类生成的定性精确、基于物理的流程模型的需求，从而降低了新流程的CDEV。此外，使用高保真计算模型生成 FFF 的单个训练样本所需的 CPU 时间比 Smart-ML 多几个数量级（即 10^-6 CPU 小时）。因此，Smart-ML 不仅降低了 CEXP，还降低了计算成本 (CCOMP) 和CDEV。
结论
最先进的制造过程参数效应 ML 模型方法侧重于降低训练数据生成的实验和计算成本。本文推动了这一模式的发展，并研究了经常被忽视但却非常重要的降低工艺模型开发成本的潜力。
为此，我们在过渡学习中测试了源过程模型与目标实验数据之间所需的相似性极限，探索了使用未校准的猜测来确定构成法的函数形式，从而避免了迭代模型开发的成本。这种最先进的制造过程参数效应 ML 模型方法侧重于降低训练数据生成的实验和计算成本。
本文推动了这一范式的发展，并探讨了降低过程模型开发过程中经常被忽视但却非常重要的成本的可能性。为此，我们测试了在迁移学习中源过程模型和目标实验数据之间所需的相似性极限，探索了使用未校准的猜测来确定构成规律的函数形式，从而避免了迭代模型开发的成本。与模型开发中的假设不同，这种方法可以克服源模型和目标模型之间的重大功能差异。
与本文相关的类别
