DEV Community

Samuel Su
Samuel Su

Posted on

【译】用 Rust 实现 csv 解析-part6

写入 tab 分隔符的值

在前面的章节中，我们了解了如何将 CSV 数据输出到标准输出中，如下：

City,State,Population,Latitude,Longitude
Davidsons Landing,AK,,65.2419444,-165.2716667
Kenai,AK,7610,60.5544444,-151.2583333
Oakman,AL,,33.7133333,-87.3886111
Enter fullscreen mode Exit fullscreen mode

你可能会想：如果都是这么简单地数据，那使用 CSV writer 还有什么意义？CSV writer 的好处是，它能处理所有类型的数据，而不会牺牲数据的完整性。也就是说，它知道何时引用包含特殊 CSV 字符的字段（如逗号或者换行），或在数据中出现的转义字面量引号。CSV writer 还可以方便地配置使用不同地分隔符或引用策略。

在这一节中，我们将看看如何调整 CSV writer 上的设置。特别地，我们将使用 TSV（“制表符分割值”）来替代 CSV，并且我们要求 CSV writer 引用所有非数字字段。这里有一个例子：

fn run() -> Result<(), Box<Error>> {
    let mut wtr = csv::WriterBuilder::new()
        .delimiter(b'\t')
        .quote_style(csv::QuoteStyle::NonNumeric)
        .from_writer(io::stdout());

    wtr.write_record(&["City", "State", "Population", "Latitude", "Longitude"])?;
    wtr.write_record(&["Davidsons Landing", "AK", "", "65.2419444", "-165.2716667"])?;
    wtr.write_record(&["Kenai", "AK", "7610", "60.5544444", "-151.2583333"])?;
    wtr.write_record(&["Oakman", "AL", "", "33.7133333", "-87.3886111"])?;

    wtr.flush()?;
    Ok(())
}
Enter fullscreen mode Exit fullscreen mode

编译并运行这个例子：

$ cargo build
$ ./target/debug/csvtutor
"City"  "State" "Population"    "Latitude"      "Longitude"
"Davidsons Landing"     "AK"    ""      65.2419444      -165.2716667
"Kenai" "AK"    7610    60.5544444      -151.2583333
"Oakman"        "AL"    ""      33.7133333      -87.3886111
Enter fullscreen mode Exit fullscreen mode

在本例中，我们使用了一个新类型 QuoteStyle 。QuoteStyle 类型表示你可以使用不同的引用策略。默认情况下，只在必要时才向字段值周围添加引号。这可能适用于大多数例子，但你也可以一直在字段两边添加引号，或不添加引号，或者只在非数字两边加引号。

使用 Serde 写入

正如 CSV reader 支持将数据自动反序列化为 Rust 类型数据一样，CSV writer 也支持那样使用 Serde 将 Rust 类型数据序列化为 CSV 记录数据。在本节中，我们就学习怎么使用它。

与读一样，我们先看看如何序列化一个 Rust 元组。

fn run() -> Result<(), Box<Error>> {
    let mut wtr = csv::Writer::from_writer(io::stdout());

    // 我们仍然需要手动地写入头部
    wtr.write_record(&["City", "State", "Population", "Latitude", "Longitude"])?;

    // 但现在我们可以通过提供的常用的 Rust 值，写入记录。
    //
    // 注意，奇数列的 `None::<u64>` 预发是必须的，因为 `None` 本身没有具体的类型，但 Serde 需要一个具体的类型以便进行序列化。也就是说，`None` 的类型 `Option<T>`，而 `None::<u64>` 的类型是 `Option<u64>`。
    wtr.serialize(("Davidsons Landing", "AK", None::<u64>, 65.2419444, -165.2716667))?;
    wtr.serialize(("Kenai", "AK", Some(7610), 60.5544444, -151.2583333))?;
    wtr.serialize(("Oakman", "AL", None::<u64>, 33.7133333, -87.3886111))?;

    wtr.flush()?;
    Ok(())
}
Enter fullscreen mode Exit fullscreen mode

编译并运行这个程序，期望的输出如下：

$ cargo build
$ ./target/debug/csvtutor
City,State,Population,Latitude,Longitude
Davidsons Landing,AK,,65.2419444,-165.2716667
Kenai,AK,7610,60.5544444,-151.2583333
Oakman,AL,,33.7133333,-87.3886111
Enter fullscreen mode Exit fullscreen mode

在上面的例子中，需要注意的关键点是，使用 serialize 而不是 write_record 进行写入数据。特别地，write_record 在写入仅包含字符串数据的简单记录时使用。另一方面，当数据包含更复杂的值时，如数字、浮点数、可选值时，则使用 serialize。当然，你总是可以将复杂的值转为字符串，然后再使用 write_record 统一写入，但 Serde 可以为你自动的完成上面那些繁琐的工作。

和读一样，我们也可以将自定义结构序列化为 CSV 记录。这样的好处是，结构体中的字段将被识别为头记录。

要将自定义结构写入 CSV 记录，我们需要再次使用 serde_derive crate。正如前面章节的使用 Serde 读取数据 所述，我们需要在我们的 Cargo.toml 中的 [dependencies] 区块下加上两个 crate 依赖声明（如果没有就加上）。

serde = "1"
serde_derive = "1"
Enter fullscreen mode Exit fullscreen mode

我们还需要在代码中加上两行外部库的引入代码 extern crate ，如下方所示：

extern crate csv;
extern crate serde;
 #[macro_use]
extern crate serde_derive;

use std::error::Error;
use std::io;
use std::process;

// 记住结构体可以派生两个 trait：Serialize 和 Deserialize！
 #[derive(Debug, Serialize)]
 #[serde(rename_all = "PascalCase")]
struct Record<'a> {
    city: &'a str,
    state: &'a str,
    population: Option<u64>,
    latitude: f64,
    longitude: f64,
}

fn run() -> Result<(), Box<Error>> {
    let mut wtr = csv::Writer::from_writer(io::stdout());

    wtr.serialize(Record {
        city: "Davidsons Landing",
        state: "AK",
        population: None,
        latitude: 65.2419444,
        longitude: -165.2716667,
    })?;
    wtr.serialize(Record {
        city: "Kenai",
        state: "AK",
        population: Some(7610),
        latitude: 60.5544444,
        longitude: -151.2583333,
    })?;
    wtr.serialize(Record {
        city: "Oakman",
        state: "AL",
        population: None,
        latitude: 33.7133333,
        longitude: -87.3886111,
    })?;

    wtr.flush()?;
    Ok(())
}

fn main() {
    if let Err(err) = run() {
        println!("{}", err);
        process::exit(1);
    }
}
Enter fullscreen mode Exit fullscreen mode

编译并运行这个示例，虽然我们没有显式地写入头部，但输出和上次是一样的。

$ cargo build
$ ./target/debug/csvtutor
City,State,Population,Latitude,Longitude
Davidsons Landing,AK,,65.2419444,-165.2716667
Kenai,AK,7610,60.5544444,-151.2583333
Oakman,AL,,33.7133333,-87.3886111
Enter fullscreen mode Exit fullscreen mode

在这个例子中，可以看到，serialize 方法上被标记上了一个结构体字段名。这样做的话，serialize 将自动写入一个头部（只要其他记录尚未写入），该记录的结构体的字段是按照他们定义的顺序组成。请注意，可以通过 WriterBuilder::has_headers 方法将此行为禁用。

同样值得指出的是，在 Record 结构体中使用了一个生命周期参数：

struct Record<'a> {
    city: &'a str,
    state: &'a str,
    population: Option<u64>,
    latitude: f64,
    longitude: f64,
}
Enter fullscreen mode Exit fullscreen mode

'a 声明周期参数对应于 city 和 state 字符串切片的生命周期。这表示 Record 结构体包含了 借用 的数据。我们本可以在不借用任何数据的情况下编写结构体，这时也就不需要生命周期参数了：

struct Record {
    city: String,
    state: String,
    population: Option<u64>,
    latitude: f64,
    longitude: f64,
}
Enter fullscreen mode Exit fullscreen mode

然而，由于我们使用 String 类型替换 &str 类型，我们现在被迫为我们所写的每条记录中的 city 和 state 分配一个新的 String 值。这样做本身没有问题，但会有点性能浪费。

关于序列化的更多示例和详细信息，可以参考 Writer::serialize 方法。

Pipelining

  • 待续...

Top comments (0)

Read next

ayybbbt profile image

Large Sitemaps: 16M Pages Challenge

Job -

kishor_sutradhar_d2503ac4 profile image

Today’s new knowledge #7(GSAP)

kishor sutradhar -

okpalan profile image

The Essential Guide to Inclusive and Responsive Web Design

Nnamdi Okpala -

moh_moh701 profile image

Article 1: Creating a Grid Formatter for Clean Data Display

mohamed Tayel -