Scala并行收集且处于可变状态

如何解决Scala并行收集且处于可变状态

| 我有一个函数，通过更新地图执行计算的第一步（底层是可变的HashMap）。我想并行执行几个这样的计算（每个“链”都在其自己的可变HashMap上工作）。我这样做是通过将HashMaps放入并行集合中，然后通过使用map将函数应用于每个HashMap来实现的。现在，我在地图中遇到了丢失的条目。调试时，一旦异常断点停止了程序，映射就包含了该条目（然后通过丢弃某些堆栈帧层来重新开始计算）。当我使用顺序收集时，此行为消失了。那么是否有可能由于相同的HashMap在不同的线程中处理而导致某些不当行为（或错误）？我没有发布代码示例，因为我认为该行为不可复制。据我所知，唯一的可变数据包含在那些保存计算状态的HashMap中。根据要求提供我的代码示例，其中创建了并行映射（reset）和修改了并行映射（step）。

class ParallelInferer[V <: DiscreteVariable,TInf <: InferenceAlgorithm[V]](val numChains: Int,val inferer: InferenceAlgorithm[V],val random: Random) {
  //tuples of inferer state and the according random number generator
  protected var states: ParSeq[(inferer.Repr,Random)] = _
  protected var steps = 0

  reset()

  def reset() {
    steps = 0

    val seed = random.nextInt()

    //todo why does parallelizing fail here (key not found on a map)
    states = (1 to numChains).par
      .map(n => new Random(seed + n))    //create the rngs
      .map(rng => (inferer.createInitialState(rng),rng))
  }

  def step() {
    //advance every chain by one
    states = states.map{case (repr,rng) => (inferer.computeStep(repr,rng),rng)}
    steps = steps + 1
  }
}

代码说明 ParallelInferer类也用于不可变的推理。因此，可变性在发布的代码中不是直接可见的，但是我认为这是显示的重要部分。每个推论算法都有一个状态概念，该状态的类型为InferenceAlgorithm#Repr-在in5ѭ作为states变量的一部分中的用法中很明显。推断者通过将“ 7”（和随机对象）映射到具有其“ 9”功能的新“ 7”来工作。在ѭ10中可以看到。现在，一些推断者将可变的“ 11”用作其状态的一部分。他们的computeStep方法在对它进行了变异之后，会返回它作为参数获得的相同映射。题我可以以某种方式解决此问题吗？我是否在滥用并行集合，是否应该使我的任务与众不同？编辑我刚刚再次运行了并行化的版本，尽管顺序运行时它确实会终止算法，但它不会终止算法。好吧，这并不奇怪，不是吗？有人可以推测为什么会这样吗？

解决方法

是的，一点没错。可变HashMap默认情况下不是线程安全的，以这种方式使用它们可能导致未定义的行为。缺少条目实际上是一个相当不错的表现。根据基础实现，还可能破坏HashMap数据结构，使程序陷入无限循环。有很多解决方法，它们将具有不同的编码复杂度和性能折衷。最简单的方法是只使用同步的哈希映射，而不是未同步的哈希映射。

import scala.collection.mutable._

val map = new HashMap[Key,Value] with SynchronizedMap[Key,Value]

我不会说根本的问题是您不正确地使用了并行集合，而是使用可变数据结构的任何并行程序都会遇到这样的问题。要做到这一点，更多使用Scala的方法是使用不可变映射，并让您的并行处理步骤返回新的不可变映射。这听起来在计算上很昂贵，但是由于不可变哈希图的基本实现，因此不一定。

Scala并行收集且处于可变状态

如何解决Scala并行收集且处于可变状态

解决方法

相关推荐