Golang 并发的 fork/join 模式

在软件开发领域，对更快、更高效地处理数据的需求与日俱增。并行计算技术（如 fork/join 模式）为利用多个 CPU 内核并发执行任务提供了强大的解决方案，从而大大缩短了大规模计算的执行时间。本文通过分解一个使用并发 goroutines 对数组求和的示例，探讨了 fork/join 模式在 Go 中的实现。

Fork/Join 并发模型介绍

Fork/Join 模式是一种并行技术，包括将任务分成较小的任务块，并行处理这些任务块（分叉），然后将这些任务的结果合并为最终结果（join）。这种模式尤其适用于任务相互独立，可以并发执行而互不影响的情况。

简单的示例：并发对数组求和

1. 初始化：程序初始化一个整数数组。程序还设置了数组应划分的部分数，每个部分由一个独立的程序处理。

2.并发设置：

2.1 Fork: 将数组划分为指定的部分，并为每个部分启动一个 goroutine 来计算该部分的总和。

2.2 Channel 通信：每个 “程序 “都会通过通道将计算出的总和发送回主进程，以确保同步通信。

2.3 Join: 当所有 Goroutine 完成计算后，主进程收集并汇总这些部分结果，得出总和。
2.4 Logging: 日志记录在整个过程中，程序会打印信息，显示数组的划分、每个工作者计算的总和以及收到的部分总和。

代码示例

import (
 "fmt"
 "sync"
)

var (
 parts = 4
)

func main() {
 numbers := []int{3, 1, 4, 1, 5, 9, 2, 6, 5, 3, 5} // Example array
 totalSum := concurrentSum(numbers, parts)         // Divide the array into 4 parts for summing
 fmt.Println("Total Sum:", totalSum)
}

// sumPart sums a part of the array and sends the result to a channel.
func sumPart(workerId int, nums []int, result chan<- int, wg *sync.WaitGroup) {
 defer wg.Done() // Ensure the WaitGroup counter decrements on function completion.
 sum := 0
 for _, num := range nums {
  sum += num
 }
 fmt.Printf("Worker %d calculated sum: %d\n", workerId, sum)
 result <- sum // Send the partial sum to the result channel.
}

// concurrentSum takes an array and the number of parts to divide it into,
// then sums the array elements using concurrent goroutines.
func concurrentSum(numbers []int, parts int) int {
 n := len(numbers)
 partSize := n / parts // Determine the size of each subarray
 fmt.Printf("Dividing the array of size %d into %d parts of size %d\n", n, 
  parts, partSize)
 results := make(chan int, parts) // Channel to collect results with a buffer size
 
var wg sync.WaitGroup
 // Fork step: Launch a goroutine for each part of the array
 for i := 0; i < parts; i++ {
  start := i * partSize
  end := start + partSize
  if i == parts-1 { // Ensure the last goroutine covers the remainder of the array
   end = n
  }
  wg.Add(1)
  go sumPart(i, numbers[start:end], results, &wg)
 }

 // Close the results channel once all goroutines are done
 go func() {
  wg.Wait()
  close(results)
 }()

 // Join step: Combine results
 totalSum := 0
 for sum := range results {
  fmt.Printf("Received partial sum: %d\n", sum)
  totalSum += sum
 }

 return totalSum
}