使用 Criterion.rs 进行 Rust 基准测试

基准测试（Benchmarking）在优化代码时是一项至关重要的实践，尤其是在像 Rust 这样的系统编程语言中，性能至关重要。Rust 注重内存安全和零成本抽象，使开发者能够编写出极其高效的程序。

然而，要确保你的代码按预期运行，或者进一步提升其性能，就需要一种可靠的方式来衡量它。这正是 Criterion.rs 的用武之地。Criterion.rs 是一个功能强大且基于统计学的基准测试库，可以检测到代码中哪怕最微小的性能变化。

在本篇博客文章中，我们将探讨如何使用 Criterion.rs 编写和分析基准测试，帮助你编写更快、更高效的 Rust 代码。

什么是基准测试？

在编程中，基准测试是指在特定条件下测试并衡量一段代码或程序的执行效率。例如，你可能想测量一个函数对大型数据集进行排序所需的时间，或者在高负载下 Web 服务器响应请求的速度。

通过运行这些测试，你可以获得关于执行速度和资源使用的具体数据。通常的做法是多次运行这些基准测试，因为由于系统负载等因素，每次运行的结果可能会有所不同。基准测试对于识别性能瓶颈、优化算法以及确保代码在真实场景中表现良好至关重要。

为什么要对代码进行基准测试？

基准测试之所以重要，是因为它能让你深入了解代码的性能，并帮助避免低效问题。例如，如果你正在开发一款游戏，你可能需要知道随着物体数量的增加，物理引擎计算碰撞的速度有多快；又或者在构建数据库时，你会希望对不同数据集下查询处理的速度进行基准测试。

基准测试可以让你比较不同的实现方式，比如评估新算法是否提升了搜索性能，或者切换库是否减少了内存使用量。像 Criterion.rs 这样的工具允许你系统地运行这些测试，从而帮助你做出明智的决策，编写出更快、更高效的代码。

开始使用 Criterion.rs

接下来，我们将深入探讨如何使用 Criterion.rs 对你的 Rust 代码进行基准测试。我们将逐步演示如何设置 Criterion.rs、为排序函数编写基准测试并进行比较，以及分析结果。

你可以在 GitHub 仓库中查看完整的代码。

目标

在本指南中，我们将比较两种排序算法的性能：自定义的归并排序（Merge Sort）和 Rust 内置的 sort 函数。这将让你清晰地了解如何使用 Criterion.rs 来比较不同实现的性能。

创建一个新的 Rust 项目

首先，运行以下命令创建一个新的 Rust 项目：

cargo new criterion-test

这将生成一个基本的 Rust 项目，结构如下：

criterion-test/
├── Cargo.toml
└── src
    └── main.rs

将 Criterion.rs 添加为开发依赖项

通过运行以下命令，将 Criterion.rs 作为开发依赖项添加到你的项目中：

cargo add -D criterion -F html_reports

其中 html_reports 特性允许 Criterion 生成 HTML 报告以可视化基准测试结果。

更新你的 Cargo.toml 文件，加入基准测试配置：

[dev-dependencies]
criterion = { version = "0.5.1", features = ["html_reports"] }

[[bench]]
name = "sort_benchmarks"
harness = false

这会配置一个名为 sort_benchmarks 的自定义基准测试，并指定它不使用默认的测试框架（harness）。

创建你的基准测试

Rust 中的基准测试通常放在 benches 目录下，文件名应与你在 Cargo.toml 中定义的基准测试名称一致。创建该目录并添加一个新的基准测试文件：

mkdir benches
touch benches/sort_benchmarks.rs

现在，在 benches/sort_benchmarks.rs 中定义你的基准测试。在这个示例中，我们将比较自定义归并排序实现与 Rust 内置 sort 函数的性能：

use criterion::{criterion_group, criterion_main, Criterion};
use std::hint::black_box;

// 归并排序实现
fn merge_sort(mut arr: Vec<i32>) -> Vec<i32> {
    if arr.len() <= 1 {
        return arr;
    }
    let mid = arr.len() / 2;
    let left = merge_sort(arr[..mid].to_vec());
    let right = merge_sort(arr[mid..].to_vec());
    merge(&left, &right, &mut arr);
    arr
}

fn merge(left: &[i32], right: &[i32], arr: &mut Vec<i32>) {
    let mut left_index = 0;
    let mut right_index = 0;
    let mut index = 0;

    while left_index < left.len() && right_index < right.len() {
        if left[left_index] < right[right_index] {
            arr[index] = left[left_index];
            left_index += 1;
        } else {
            arr[index] = right[right_index];
            right_index += 1;
        }
        index += 1;
    }

    while left_index < left.len() {
        arr[index] = left[left_index];
        left_index += 1;
        index += 1;
    }

    while right_index < right.len() {
        arr[index] = right[right_index];
        right_index += 1;
        index += 1;
    }
}

fn criterion_benchmark(c: &mut Criterion) {
    let data: Vec<i32> = (0..1000).rev().collect(); // 包含 1000 个元素的逆序数组

    // 基准测试：归并排序
    c.bench_function("merge_sort", |b| {
        b.iter(|| merge_sort(black_box(data.clone())))
    });

    // 基准测试：Rust 内置排序
    c.bench_function("built_in_sort", |b| {
        b.iter(|| {
            let mut data_clone = data.clone();
            black_box(data_clone.sort());
        })
    });
}

criterion_group!(benches, criterion_benchmark);
criterion_main!(benches);

运行基准测试

使用以下命令运行你的基准测试：

cargo bench

这将执行基准测试，并提供两种排序算法的性能数据对比。如果你已安装 gnuplot，Criterion.rs 还会生成详细的 HTML 报告，以便更好地可视化和分析结果。

这些结果将帮助你理解自定义归并排序与 Rust 内置排序在性能上的差异。HTML 报告提供了一种简便的方式，用于可视化趋势并发现任何性能差异。

基准测试日志

使用 Criterion.rs 生成 HTML 报告

Criterion.rs 能够生成 HTML 报告，以可视化你的基准测试结果。运行基准测试后，报告位于 target/criterion/report/index.html。默认情况下，Criterion.rs 使用 gnuplot 创建这些图表；如果系统未安装 gnuplot，则会回退到使用 plotters crate。这两种方式都能生成清晰且信息丰富的图表，让你直观地看到代码的性能表现。

这些报告提供了详细的基准测试数据，包括执行时间、统计分析以及突出趋势和异常值的可视化图表。这使得你能够轻松发现代码中的性能问题或改进点。

在 Ubuntu 上安装 Gnuplot（可选）

要使用 Criterion.rs 生成详细的可视化报告，你需要在系统上安装 gnuplot。以下是 Ubuntu 系统上的安装方法：

# 更新软件包列表
sudo apt update

# 安装 Gnuplot
sudo apt install gnuplot

# 验证安装
gnuplot --version

以下是为两种排序算法生成的 HTML 报告：

内置排序报告
builit-in sort

归并排序报告
merge sort

基准测试报告结论

为内置排序和归并排序生成的报告清晰地揭示了两种算法的性能表现。以下是关键要点：

内置排序：

内置排序的平均时间为 694 纳秒（ns），明显快于归并排序。
性能表现非常稳定，中位数和标准差都很低，表明该算法在多次迭代中表现一致可靠。
“总采样时间 vs. 迭代次数”的图表显示了稳定的线性增长，说明内置排序在迭代增加时具有良好的可扩展性。

归并排序：

归并排序明显更慢，平均时间为 36.1 微秒（µs），比内置排序慢了几个数量级。
尽管耗时更长，归并排序在其总执行时间内仍表现出高度一致性，标准差相对较低。
线性回归图显示其性能同样稳定，但由于算法本身的计算开销更大，斜率更陡峭。

整体分析

性能：内置排序在速度方面远胜自定义归并排序实现。其更快的平均时间（694 ns 对比 36.1 µs）使其在性能上具有压倒性优势。
可扩展性：两种算法都表现出线性的性能可扩展性，即执行时间随迭代次数稳定增长。
一致性：尽管两者都表现稳定，但内置排序的执行时间范围更集中，方差更低。

综上所述，在大多数使用场景下，内置排序函数在性能和可靠性方面都是更优的选择。不过，在某些需要自定义排序逻辑、必须使用分治策略的特殊场景中，归并排序可能仍有其价值。

Criterion.rs 的其他功能

除了基础的基准测试外，Criterion.rs 还提供了一系列高级功能，用于更深入的性能分析和灵活性定制。以下是它提供的一些关键工具和能力：

命令行输出
HTML 报告
图表与图形
带输入参数的基准测试
函数性能对比
定时循环（Timing Loops）
自定义度量指标
性能剖析（Profiling）

这些功能使 Criterion.rs 成为一个极其灵活的性能基准测试工具，能够满足各种使用场景和定制需求。你可以在 Criterion.rs 官方文档中了解更多相关特性。

结论

基准测试是优化代码和确保高性能的重要实践，而 Criterion.rs 为 Rust 开发者提供了一个出色的解决方案。凭借其丰富的功能——从基础基准测试到高级统计分析——它能为你提供关于代码性能的详细洞察。在本文中，我们探讨了如何设置 Criterion.rs，比较了归并排序与 Rust 内置排序的性能，并通过 Criterion.rs 生成的 HTML 报告分析了结果。

正如我们所见，内置排序函数在性能上显著优于自定义归并排序实现，而 Criterion.rs 生成的详细报告提供了关于执行时间、一致性和可扩展性的宝贵数据。借助命令行选项、异步函数基准测试、自定义度量等附加功能，Criterion.rs 成为了一个能够应对广泛基准测试需求的强大工具。