pyspark 2.4.3

联机文档

您可以找到最新的Spark文档，包括编程 指南，在project web page

python打包

此自述文件仅包含与PIP相关的基本信息 安装了Pyspark。这种包装目前正在试验中，可能 未来版本的变化（尽管我们将尽最大努力保持 兼容性）。使用Pyspark需要火花罐，如果你是 从源代码开始构建请参阅 “Building Spark”。

spark的python包并不打算替换所有 其他用例。spark的python打包版本适合于 与现有的集群交互（它是火花独立的，纱线，或 但不包含建立自己的 独立火花集群。你可以下载Spark的完整版本 从Apache Spark downloads page开始。

注意：如果您将此与Spark独立群集一起使用，则必须 确保版本（包括次要版本）匹配，或者 经历奇怪的错误。

python需求

pyspark的核心依赖于py4j（当前版本是0.10.7），但是 附加的子包对某些 特征（包括numpy、pandas和pyarrow）。