LIBS数据处理与结果分析

介绍LIBS数据处理与结果分析

本文定位：围绕建模实践解释中心化、归一化、标准化、评价指标与浓度单位。

关联阅读： 整体分析流程 · 具体算法原理 · 物理模型定量分析。

LIBS 分析流程总览

1. 数据预处理（重点：必须剔除异常数据）

LIBS 信号受激光能量波动、样品基体效应和环境影响很大，存在明显的"脉冲到脉冲（Shot-to-shot）“的不稳定性。

• 异常数据剔除（必须进行）： 在进行任何分析前，强烈建议剔除异常光谱。如果不剔除，异常点会严重拉偏模型的决策边界或回归曲线。常用的剔除方法包括：
  • 统计学方法： 基于特定特征峰的强度，使用 3σ 法则或箱线图。
  • 多变量方法： 对光谱进行主成分分析（PCA），利用 Hotelling’s T² 统计量或马氏距离识别并剔除离群点。
  • 算法方法： 孤立森林（Isolation Forest）或局部异常因子（LOF）。
• 平滑与降噪： 常用 Savitzky-Golay（S-G）平滑或小波变换去除高频噪声。
• 基线校正： 去除由于轫致辐射等引起的连续背景（如多项式拟合或自适应迭代重加权惩罚最小二乘法 airPLS）。
• 归一化/标准化： 消除绝对强度波动的影响（如最大值归一化、全谱面积归一化或内标法）。

2. 特征选择与降维

LIBS 光谱通常包含上万个波长点（高维数据），直接输入模型容易导致"维数灾难"和过拟合。

• 降维： 主成分分析（PCA）是最常用的无监督降维方法。
• 特征选择： 根据物理先验知识挑选目标元素的特征谱线，或使用变量投影重要性（VIP）、连续投影算法（SPA）、无信息变量消除（UVE）等算法筛选有用波长。

3. 数据集划分（必须划分训练集和测试集）

必须划分。 这是评估机器学习模型是否真正具备预测能力（泛化能力）的基础。

• 训练集（Training Set）： 通常占总数据的 70%~80%，用于模型"学习"数据中的规律。
• 测试集（Test Set）： 占 20%~30%，模型在训练阶段绝对不能看到这些数据。它相当于最终的"期末考试”，用于检验模型在面对全新样品时的真实表现。

4. 模型选择与构建

根据您的任务目标选择合适的算法：

• 分类任务（如合金钢牌号识别、岩石分类）： 支持向量机（SVM）、随机森林（RF）、K 近邻（KNN）、人工神经网络（ANN）、偏最小二乘判别分析（PLS-DA）。
• 回归任务（如测定土壤中重金属的浓度）： 偏最小二乘回归（PLSR，LIBS 领域最经典）、支持向量回归（SVR）、随机森林回归（RFR）、多层感知机（MLP）。

5. 模型优化与验证（K 折交叉验证与袋外估计的作用）

在训练集上训练模型时，我们需要寻找最佳的"超参数"（例如 SVM 的惩罚系数、PLS 的主成分个数、随机森林的树的数量）。这需要用到验证机制：

• K 折交叉验证（K-Fold Cross-Validation）：
  • 作用： 解决数据量较少时的过拟合问题，并用于超参数调优。
  • 原理： 将训练集平均分成 K 份（常用 5 折或 10 折）。每次拿其中 1 份作为内部验证集，其余 K-1 份用于训练，重复 K 次。最后对 K 次的结果取平均。
  • 意义： 它可以告诉你模型在当前参数下表现是否稳定，防止模型只是"死记硬背"了某一部分训练数据。
• 袋外估计（Out-Of-Bag, OOB Estimation）：
  • 作用： 它是基于 Bagging 算法（特别是随机森林 Random Forest）特有的一种内置验证方法，相当于"免费的交叉验证"。
  • 原理： 随机森林在构建每一棵决策树时，采用有放回抽样（Bootstrap）。数学上可以证明，每次抽样大约有 36.8% 的样本没有被抽中用于建树，这些没被抽中的数据就是"袋外数据（OOB）"。
  • 意义： 可以直接使用这 36.8% 的 OOB 数据来测试当前树的性能（即 OOB 误差）。如果使用随机森林，你甚至可以省略 K 折交叉验证，直接通过 OOB 误差来评估模型性能和进行特征重要性排序，计算速度更快。

6. 模型评估

使用测试集数据输入已经训练并调优好的模型，得出最终的评价指标。

• 分类指标： 准确率（Accuracy）、精确率（Precision）、召回率（Recall）、混淆矩阵（Confusion Matrix）。
• 回归指标： 决定系数（R²）、均方根误差（RMSE，包含 RMSEC 和 RMSEP）、平均绝对误差（MAE）。

光谱预处理与尺度变换

中心化（Mean Centering）

一、基本定义

中心化是指将光谱数据中的每一个变量（即每个波长点的光谱强度值）减去该变量在所有样本上的平均值，使处理后的数据以零为中心分布。

数学表达式为：

其中：

• $x_{ij}$：第 $i$ 个样本在第 $j$ 个波长处的原始光谱强度
• $\bar{x}_j$：所有样本在第 $j$ 个波长处光谱强度的平均值
• $x'_{ij}$：中心化后的光谱强度

二、为什么要做中心化

1. 消除直流偏置（基线偏移）：不同样品或不同次测量之间可能存在整体强度偏移，中心化可以去除这种与成分无关的系统性偏差。
2. 突出光谱差异信息：中心化后保留的是各样本相对于平均光谱的"变化量"，更利于反映元素含量的真实差异。
3. 改善多元模型性能：在主成分分析（PCA）、偏最小二乘回归（PLS）等化学计量学算法中，中心化是常规前置步骤，可使模型更稳定、收敛更快、避免第一主成分被均值主导。
4. 便于比较和归一化：与归一化配合使用，可进一步削弱激光能量波动、等离子体起伏等带来的影响。

三、与其他预处理方法的区别

四、在 LIBS 中的实际意义

在激光诱导击穿光谱分析中，由于激光脉冲能量波动、等离子体温度起伏、样品表面状态差异等因素，采集到的光谱往往存在整体强度漂移。通过中心化处理，可以将这些与待测元素含量无关的整体偏移剔除，使后续基于特征谱线强度或全谱信息的定量建模（如 PLS、支持向量机等）更加准确可靠。

简而言之：光谱中心化 = 每条谱线强度减去该波长的平均强度，让数据"以零为中心"，从而突出真正反映成分差异的光谱信息。

归一化（Normalization）

在 GB/T 38257—2019《激光诱导击穿光谱法》中，归一化是光谱预处理的另一种常用方法（见标准第 7.5 条）。它与"中心化"并列，但作用机制不同。

一、基本定义

归一化是指将光谱数据按照某种参考量进行缩放，使不同样本的光谱处于统一的可比尺度上，从而消除因总量差异、量纲不同或整体强度波动带来的影响。

常见的归一化方式有以下几种：

1. 总和归一化（Sum Normalization）

将每个波长点的强度除以整条光谱所有波长点强度之和：

2. 范数归一化（Vector Normalization / L2 归一化）

将每个波长点的强度除以该光谱向量的欧几里得范数：

3. 最大值归一化（Max Normalization）

将每个波长点的强度除以该光谱中的最大强度值：

4. 内标归一化（Internal Standard Normalization）

以待测谱线强度除以内标元素谱线强度（与标准中"内标法"对应）：

二、为什么要做归一化

1. 消除激光能量波动的影响：LIBS 中每个激光脉冲的能量存在起伏，导致等离子体整体辐射强度忽高忽低，归一化可削弱这种与成分无关的波动。
2. 消除样品量/烧蚀量差异：不同次烧蚀产生的等离子体总量不同，归一化后只保留各元素的相对比例信息。
3. 统一量纲和尺度：不同仪器、不同距离采集的光谱绝对强度可能相差几个数量级，归一化后可在同一尺度下比较和建模。
4. 提高定量模型稳健性：在 PLS、PCA、神经网络等化学计量学算法中，归一化能显著提升模型的泛化能力和预测精度。
5. 便于半定量/定性判别：归一化后的相对强度更接近元素的真实含量比例，有利于物质类型识别。

三、归一化 vs 中心化 vs 标准化

三者常常组合使用，例如先中心化再归一化，或先归一化再标准化，以获得最佳的预处理效果。

四、在 LIBS 中的实际意义

激光诱导击穿光谱的一个固有问题是信号重复性较差——同一均匀样品多次测量，谱线绝对强度可能波动 10%~30% 甚至更多。这种波动主要来自：

• 激光脉冲能量抖动
• 等离子体温度与电子密度的随机变化
• 样品表面微区不均匀
• 光路耦合效率变化

通过归一化处理（尤其是总和归一化或内标归一化），可以将这些"整体涨落"因素剔除，使分析谱线的相对强度更稳定地反映元素含量，从而大幅提升定量分析的准确度和精密度。

一句话总结：光谱归一化 = 把每条光谱按某个参考量（总和、范数、最大值或内标线）缩放到统一尺度，消除整体强度波动，让不同样本的光谱具有可比性，从而提升 LIBS 定性判别和定量建模的准确性。

光谱标准化（Spectral Standardization）

在 GB/T 38257—2019《激光诱导击穿光谱法》中，光谱标准化是光谱预处理的另一种重要方法（见标准第 7.5 条）。它与"中心化"“归一化"并列，但内涵更丰富、针对性更强，是 LIBS 技术中专门用于补偿信号波动的核心预处理手段。

一、基本定义

光谱标准化是指利用光谱中的某些参考信息（如内标谱线强度、全谱总强度、等离子体参数、基体元素信息等）对原始光谱进行校正，以补偿由实验条件波动引起的信号不确定性，使不同次测量、不同样品之间的光谱具有可比性和稳定性。

其核心思想是：找到一个能反映"整体信号强弱"的参考量，用它来校正待分析谱线的强度波动。

二、为什么需要光谱标准化

LIBS 信号存在固有的不稳定性，主要来源包括：

这些因素会导致同一均匀样品多次测量的谱线绝对强度波动可达 10%~30%，严重影响定量精度。光谱标准化正是为了消除或削弱这些与待测元素含量无关的波动。

三、常见的光谱标准化方法

1. 内标标准化（Internal Standardization）

选取一条内标元素谱线（通常是基体中含量稳定的元素，如钢铁中的 Fe 线、土壤中的 Si 线）作为参考，将待分析谱线强度除以内标谱线强度：

这是最经典、最常用的标准化方法，本质上是一种比值归一化。

2. 全谱总强度标准化（Total Spectrum Normalization）

将每条谱线强度除以整条光谱所有波长点的强度之和（或积分面积）：

适用于没有合适内标元素的情况。

3. 基于等离子体参数的标准化

利用等离子体温度 $T_e$、电子密度 $n_e$ 等物理参数，通过 Saha-Boltzmann 方程反推并校正谱线强度。这种方法物理意义明确，但计算复杂。

4. 多变量标准化 / 改进光谱标准化法

近年来发展的新方法，例如：

• 利用基体中多个元素的信息综合补偿被测元素总粒子数密度的波动（如铀矿石测量中的改进光谱标准化法）
• 结合 PCA、PLS 等化学计量学方法提取"波动因子"进行校正

📌 文献佐证：2025 年发表于 Analytica Chimica Acta 的研究表明，基于基体元素信息的光谱标准化法可显著降低 LIBS 测量铀矿石时的信号不确定性，提升定量分析性能。

四、光谱标准化 vs 归一化 vs 中心化

关键区别：

• 归一化是通用的数学缩放，不依赖物理意义；
• 光谱标准化通常带有明确的物理或化学参考（如内标元素、等离子体状态），是 LIBS 领域针对性更强的校正手段；
• 在实际操作中，内标标准化既可视为一种归一化，也可视为一种标准化——两者有交集，但"标准化"更强调对信号不确定性的补偿。

一句话总结

光谱标准化 = 利用内标谱线、全谱总强度或等离子体参数等"参考量"对 LIBS 光谱进行校正，专门补偿激光能量波动、等离子体起伏、基体效应等引起的信号不确定性，是提升 LIBS 定量分析精密度和准确度的关键预处理步骤。

它与"归一化"在数学形式上可能相似（都是除法缩放），但光谱标准化更强调物理/化学意义上的参考和补偿，是 LIBS 技术区别于其他光谱分析方法的特色预处理手段。

模型评估与结果解读

前提：以下所有指标均使用独立测试集（未参与训练和调参）计算，反映模型的真实泛化性能。

一、分类指标

1. 混淆矩阵（Confusion Matrix）—— 一切分类指标的基石

对于 $C$ 类分类问题，混淆矩阵是一个 $C \times C$ 的表格：

以二分类为例最直观：

• 对角线 = 正确预测数
• 非对角线 = 错误预测数（可看出哪两类容易混淆）
• 多分类时同理扩展为 $C \times C$

💡 在 LIBS 合金分类中，混淆矩阵能直接告诉你"304不锈钢被误判为316的次数”，比单一准确率有价值得多。

2. 准确率（Accuracy）

3. 精确率（Precision）

4. 召回率（Recall / Sensitivity / TPR）

📊 四个指标的关系总结

              预测正      预测负
实际正    [ TP ] ← Recall = TP/(TP+FN)
          [ FN ]
实际负    [ FP ] ← Precision = TP/(TP+FP)
          [ TN ]

Accuracy = (TP+TN) / Total

⚠️ 永远不要只看 Accuracy。至少同时报告 Precision、Recall 和混淆矩阵。

二、回归指标

1. 决定系数（R², Coefficient of Determination）

2. 均方根误差（RMSE）

RMSEC vs RMSEP 的区别

⚠️ 关键判断：若 RMSEC ≪ RMSEP → 过拟合；若两者接近且都小 → 模型稳健。

3. 平均绝对误差（MAE）

确定度 - RMSEC ≈ RMSECV ≈ RMSEP → 模型稳健 - RMSEC ≪ RMSEP → 过拟合 - 常结合 RPD（残差预测偏差 = $SD / RMSEP$）联合判断：

4. RE（相对误差 / Relative Error）

• 含义：单个样本或平均意义上，预测值偏离真值的百分比程度。消除量纲影响，便于跨浓度比较。
• 公式：
  • 单样本：$RE_i = \frac{\hat{y}_i - y_i}{y_i} \times 100\%$
  • 平均相对误差：$\overline{RE} = \frac{1}{n}\sum_{i=1}^{n}\left|\frac{\hat{y}_i - y_i}{y_i}\right| \times 100\%$

💡 RE 对低浓度样本敏感（分母小导致 RE 放大），建议同时关注高、中、低三个浓度水平的 RE 分布。

5. RSD（相对标准偏差 / Relative Standard Deviation）

• 含义：衡量模型的精密度（Precision），即重复预测结果的一致性。反映随机误差大小。
• 公式： $$RSD = \frac{s}{\bar{y}} \times 100\% = \frac{\sqrt{\frac{1}{n-1}\sum(\hat{y}_i - \overline{\hat{y}})^2}}{\overline{\hat{y}}} \times 100\%$$
• 两种场景：
  • 重复性 RSD：同一样品连续多次预测 → 仪器+模型短期精密度
  • 重现性 RSD：不同天/操作者/批次 → 长期稳定性

⚠️ RSD 只反映精密度，不反映准确度。RSD 小但 RE 大 → 系统偏差未校正。

6. LOD（检出限 / Limit of Detection）

• 含义：模型能够可靠检出目标物的最低浓度（区别于定量限 LOQ）。
• 计算方法（化学计量学中常用）：

• 效果判据：
  • LOD 应 ≤ 法规/标准规定的最低限量
  • LOD 越低，模型灵敏度越高
  • LOD 与 LOQ 关系：通常 $LOQ \approx 3 \times LOD$（或 $10 \times s/b$）

💡 对于分类模型（如 SIMCA / PLS-DA），LOD 概念不适用，改用分类阈值和假阳性/假阴性率评价。

7. 标准允许偏差（Standard Permitted Deviation / Tolerance）

• 含义：国家标准、行业标准或药典中规定的最大允许误差范围。是模型是否"合规可用"的法定门槛。
• 常见形式：
  • 绝对偏差：如 “±0.5%”
  • 相对偏差：如 “≤10%”
  • 再现性限 $R$：如 GB/T 6379 中的重复性限 $r$ 和再现性限 $R$
• 效果判据：

📌 这是最终裁决指标：即使 $R^2 = 0.99$、RMSE 很小，若超出标准允许偏差，模型仍不可用于合规检测。

三、回归指标联合解读模板

✅ 优秀模型：R² > 0.95, RMSEP ≈ RMSEC, MAE ≈ RMSEP
⚠️ 过拟合：  R²(校准) > 0.99, 但 RMSEP >> RMSEC
⚠️ 欠拟合：  R² < 0.8, RMSEC 和 RMSEP 都大
⚠️ 异常值影响：RMSEP >> MAE → 检查个别离群样本

四、LIBS 分析中的实践建议

💡 黄金法则：测试集只在最终评价时使用一次。调参阶段用交叉验证，测试集锁到保险箱里，最后才打开——这才是"最终评价指标"的意义。

浓度单位与结果表达

一、基本定义

wt%（Weight Percent，质量分数）

• 表示每 100 克样品中含有多少克目标物质
• 例如：Cr = 18.5 wt% → 每 100 g 合金中含 18.5 g Cr

ppm（Parts Per Million，百万分之一）

• 表示每 1,000,000 克（即 1 吨）样品中含有多少克目标物质
• 例如：Pb = 50 ppm → 每吨样品中含 50 g Pb

二、换算关系（核心公式）

💡 记忆口诀：wt% 到 ppm 乘一万；ppm 到 wt% 除一万。

三、适用场景对比

📌 选择原则

让数值落在 0.1 ~ 1000 之间最易读。

• Cr = 18.5 wt% ✅ （而非 185,000 ppm）
• Cd = 2.3 ppm ✅ （而非 0.00023 wt%）

LIBS 分析中的实际例子