У меня есть 2 функции (1 из них частично), определенные аналогично под объектом:
val partialFn: scala.PartialFunction[String, Int] =
new AbstractPartialFunction[String, Int] {
override def isDefinedAt(v: String): Boolean = {
counter += 1
if (v == "abc") true
else false
}
override def applyOrElse[A1 <: String, B1 >: Int](v: A1, default: A1 => B1): B1 = {
counter += 1
if (v == "abc") {
v.length
}
else {
default(v)
}
}
}
val optionFn: (String) => Option[Int] = {
(v: String) => {
counter += 1
if (v == "abc") {
Some(v.length)
}
else {
None
}
}
}
Когда они оба завернуты в Option (определенно сериализуемые) и будут сериализованы/десериализованы, один из них не удалось:
java.io.NotSerializableException: ***.extractors.ExtractorSuite$$anon$1
Serialization stack:
- object not serializable (class: ***.extractors.ExtractorSuite$$anon$1, value: <function1>)
- field (class: scala.Some, name: x, type: class java.lang.Object)
- object (class scala.Some, Some(<function1>))
at org.apache.spark.serializer.SerializationDebugger$.improveException(SerializationDebugger.scala:40)
at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:47)
at org.apache.spark.serializer.JavaSerializerInstance.serialize(JavaSerializer.scala:101)
at ***.tests.TestMixin$$anonfun$assertSerializable$1.apply(TestMixin.scala:61)
...
Любая идея, почему существует такая большая разница между PartialFunction и общей функцией?
Потому что вы явно создаете AbstractPartialFunction
без расширения Serializable
. Если вы сделаете то же самое с new AbstractFunction1[String, Int] { ... }
, это также не будет сериализуемо. С другой стороны, когда вы используете синтаксис анонимной функции, компилятор генерирует класс, который расширяет Serializable
. Это включает анонимный синтаксис частичных функций:
scala> val x: PartialFunction[Int, Boolean] = { case 0 => true }
x: PartialFunction[Int,Boolean] = <function1>
scala> x.isInstanceOf[Serializable]
res0: Boolean = true