首页 > 脚本中心 > Golang > Golang 按行读取文件的三种方法小结

Golang 按行读取文件的三种方法小结

福牛 4月 25, 2023 33 0

golang 是一种现代的编程语言，它具有高效、简洁和可扩展等特点，因此在各种领域广泛应用。在 Golang 中，读取文件是一个常见的操作。在本篇技术博客中，我将介绍如何在 Golang 中按行读取文件。

1.使用 bufio.Scanner 读取文件

Golang 中有一个 bufio 包，它提供了 Scanner 类型，可以方便地按行读取文件。我们可以使用 Scanner 的 Scan() 方法来读取每一行。

bufio.Scanner是一个基于缓冲区的数据扫描器，它提供了方便的逐行/逐词读取操作。Scan 方法是bufio.Scanner 的一个核心方法，用于扫描缓冲区中的数据并返回扫描到的下一个 Token。

Scan 方法的签名如下：

  1. func (s *Scanner) Scan() bool

该方法返回一个 bool 类型值，表示扫描是否成功。如果扫描成功，该方法会将下一个Token读取出来并保存在Scanner的Text字段中。如果扫描失败，则返回false。

在读取Token之前，Scanner会将缓冲区中的数据读取到底层的Reader中，并从底层的Reader中获取新的数据填充到缓冲区中。因此，在Scan方法调用之前，Scanner的缓冲区中可能已经包含了一部分数据，也可能为空。

扫描过程中，Scanner会将缓冲区中的数据按照分隔符进行分割，并将分割后的Token返回。默认情况下，Scanner使用换行符作为分隔符，即每次扫描一行数据。如果需要使用其他分隔符，可以使用Scanner的Split方法进行设置。

  1. // ReadLines reads all lines of the file.
  2. func ReadLines(path string) ([]string, error) {
  3.      file, err := os.Open(path)
  4.      if err != nil {
  5.      return nil, err
  6.      }
  7.      defer file.Close()
  8.  
  9.      var lines []string
  10.      scanner := bufio.NewScanner(file)
  11.      for scanner.Scan() {
  12.      lines = append(lines, scanner.Text())
  13.      }
  14.      return lines, scanner.Err()
  15. }

上面的代码中，我们首先使用 NewScanner() 函数创建一个 Scanner 对象。然后在 for 循环中，我们使用 Scanner 的 Scan() 方法读取文件的每一行，然后使用 Text() 方法获取每一行的内容。最后，我们将获取到的行追加到字符串切片中。

2.使用 bufio.Reader 读取文件

除了使用 Scanner 类型之外，我们还可以使用 bufio 包中的 Reader 类型按行读取文件。在使用 bufio.Reader 时，我们需要使用 ReadBytes() 或 ReadString() 方法来读取每一行，示例代码如下：

  1. // ReadLinesV2 reads all lines of the file.
  2. func ReadLinesV2(path string) ([]string, error) {
  3.      file, err := os.Open(path)
  4.      if err != nil {
  5.      return nil, err
  6.      }
  7.      defer file.Close()
  8.  
  9.      var lines []string
  10.      reader := bufio.NewReader(file)
  11.      for {
  12.      // ReadString reads until the first occurrence of delim in the input,
  13.      // returning a string containing the data up to and including the delimiter.
  14.      line, err := reader.ReadString(‘\n’)
  15.      if err == io.EOF {
  16.      lines = append(lines, line)
  17.      break
  18.      }
  19.      if err != nil {
  20.      return lines, err
  21.      }
  22.      lines = append(lines, line[:len(line)-1])
  23.      }
  24.      return lines, nil
  25. }

上面的代码中，我们使用 NewReader() 函数创建一个 Reader 对象。在 for 循环中，我们使用 ReadString() 函数读取每一行的内容，并将其追加到字符串切片中。

需要注意的是，在使用 ReadString() 函数时，我们需要指定分隔符，例如 ‘\n’ 表示以换行符为分隔符。如果读取的文件中没有指定的分隔符，ReadString() 函数会返回一个错误，因此我们需要在 for 循环中检查是否发生了错误。

3.使用 bufio.Reader 的 ReadLine 读取文件

使用 bufio.Reader 逐行读取文件时，除了使用 ReadBytes() 或 ReadString() 方法，还可以使用 ReadLine() 函数。

  1. // ReadLinesV3 reads all lines of the file.
  2. func ReadLinesV3(path string) ([]string, error) {
  3.      f, err := os.Open(path)
  4.      if err != nil {
  5.      return nil, err
  6.      }
  7.      defer f.Close()
  8.  
  9.      var lines []string
  10.      r := bufio.NewReader(f)
  11.      for {
  12.      // ReadLine is a low-level line-reading primitive.
  13.      // Most callers should use ReadBytes(‘\n’) or ReadString(‘\n’) instead or use a Scanner.
  14.      bytes, _, err := r.ReadLine()
  15.      if err == io.EOF {
  16.      break
  17.      }
  18.      if err != nil {
  19.      return lines, err
  20.      }
  21.      lines = append(lines, string(bytes))
  22.      }
  23.      return lines, nil
  24. }

使用 bufio.Reader 的 ReadLine() 方法可以读取一行数据，但是需要注意它的返回值。ReadLine() 函数的返回值包括三个部分：读取到的数据、是否读取完整一行以及错误信息。如果读取到的数据超出了缓存区的大小，它会返回一个错误信息，而不是完整的一行数据。

因此，如果读取的一行数据的长度超过了缓存区的大小，ReadLine() 函数将无法读取到完整的一行数据。为了避免这种情况的发生，我们可以通过设置缓存区的大小来解决。

ReadLine 是一个低级的行读取原语。大多数调用者应该使用 ReadBytes(‘\n’) 或 ReadString(‘\n’)，或者使用 Scanner。

4.go-huge-util

本文实现的函数已放置开源仓库 dablelv/go-huge-util，欢迎大家使用。

  1. package main
  2.  
  3. import (
  4.      “github.com/dablelv/go-huge-util/file”
  5. )
  6.  
  7. func main() {
  8.      path := “your/file/path”
  9.      lines, err := file.ReadLines(path)
  10.      lines, err = file.ReadLinesV2(path)
  11.      lines, err = file.ReadLinesV3(path)
  12. }

推荐使用 file.ReadLines。

go-huge-util 除了类型转换，还有很多其他实用函数，如加解密、zip 解压缩等，欢迎大家使用、Star、Issue 和 Pull Request。

参考文献

dablelv/go-huge-util – GitHub

到此这篇关于Golang 按行读取文件的三种方法小结的文章就介绍到这了,更多相关Golang 按行读取文件内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

标签

相关推荐

发表评论