Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

Pyspark RDD基础操作

考虑到 Hadoop 3.0.0 的新特性 EC 码，我们将 Hadoop 2.6.0 集群的数据冷备到 Hadoop 3.0.0，来缓解 HDFS 存储的压力，但在冷备操作进行了一段时间后，用户反馈数据读取存在异常，由于文件暂时不可恢复，需要把异常文件给排查出来。

大概两年前写过同样标题的一篇文章，对于这个问题感兴趣的人不少，后台收到不少同学的提问，所以准备细致地解答一下这些问题，希望能解决掉大家90%的疑问。下次再看到相关的提问我会理直气壮地把这篇文章的链接甩你脸上。

Spark3.0已经发布半年之久，这次大版本的升级主要是集中在性能优化和文档丰富上，其中46%的优化都集中在Spark SQL上，SQL优化里最引人注意的非Adaptive Query Execution莫属了。

作为Hadoop里重要的分布式计算组件MapReduce到底存在什么样的问题，大家纷纷都转投其他技术栈？我们来一起探个究竟。本文会先详细解析一下整个MapReduce的过程，编程方式，然后再去分析一下存在的问题和其中可以借鉴的点。

上一篇，https://xie.infoq.cn/article/3bac4574de003e458556a81d2，对spark网络进行了初探，了解了client端与server端大概的构成，以及一个非常简单的交互模型。

本文从企业大数据应用场景关注的问题出发，对比了 Kyuubi 与 Spark Thrift Server 的差异与优劣，并引入HiveServer2 进行全面的分析。

我们在之前的文章中提到过《大数据可视化从未如此简单 - Apache Zepplien全面介绍》一文中介绍了 Zeppelin 的主要功能和特点，并且最后还用一个案例介绍了这个框架的使用。这节课我们用两个直观的小案例来介绍 Zepplin 和 Spark 如何配合使用。

Spark Shuffle Write框架的内部机制与设计

Spark超强攻略

摘要：由于redis是基于内存的数据库，稳定性并不是很高，尤其是standalone模式下的redis。于是工作中在使用Spark-Redis时也会碰到很多问题，尤其是执行海量数据插入与查询的场景中。

现有大数据平台的Spark版本是2.1.0，Python版本2.7和3.6 ，通过PySpark+Jupyter方式提供服务。Python 2年岁久远，升级支持Python 3

写在前面： 大家好，我是强哥，一个热爱分享的技术狂。目前已有 12 年大数据与AI相关项目经验， 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。

摘要：BlockManager 是 spark 中至关重要的一个组件，在spark的运行过程中到处都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和机制，你才能更加深入的理解 spark。

摘要：本文将介绍如何在Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。

本篇文章是智能课堂教学评价系统系列文章的第一篇

本节内容主要是数据采集到大数据平台之后，然后通过算法模型对数据进行分析，得到分析结果。在教学分析时，采用了多种数据模型及算法。机器学习阶段主要采用监督式学习中的随机森林算法及非监督式学习中的K-mean算法。

先来一个问题，也是面试中常问的：Spark为什么会流行？

spark深度好文

在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取，而是map端写一点数据，reduce端task就会拉取一小部分数据，然后立即进行后面的聚合、算子函数的使用等操作。

指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。