使用PySpark提取功能

在本章中,我们将了解PySpark
在敏捷数据科学中的提取功能的应用.

Spark概述

Apache Spark可以定义为快速实时处理框架.它进行计算以实时分析数据. Apache Spark作为流处理系统实时引入,也可以处理批处理. Apache Spark支持交互式查询和迭代算法.

Spark是用"Scala编程语言"编写的.

PySpark可以看作是Python的组合与Spark. PySpark提供PySpark shell,它将Python API链接到Spark核心并初始化Spark上下文.大多数数据科学家使用PySpark跟踪功能,如前一章所述.

在这个例子中,我们将专注于转换来构建一个名为counts的数据集和
save它是一个特定的文件.

text_file = sc.textFile("hdfs://...")counts = text_file.flatMap(lambda line: line.split(" ")) \   .map(lambda word: (word, 1)) \   .reduceByKey(lambda a, b: a + b)counts.saveAsTextFile("hdfs://...")

使用PySpark,用户可以使用python编程语言处理RDD.内置库涵盖了数据驱动文档和组件的基础知识,有助于实现这一目标.

免责声明:以上内容(如有图片或视频亦包括在内)有转载其他网站资源,如有侵权请联系删除

咨询热线(9:00 - 18:00)
0755 - 29812418
微���公众号二维码
微信公众号二维码
微信公众号
返回顶部