环境与版本

• OS：centos 7
• JDK版本：1.8
• Spark版本：2.1.0
• Scala版本：2.11
• IDE：intellij idea 14.1.4

WholeStageCodeGen简介

Spark2.0集成了第二代Tungsten engine，经过我们的测试，性能相对spark1.6有明显的提升，而其中一个重要的特性就是WholeStageCodeGen，在databricks的官博上有详细讲解这个新特性的文章：
https://databricks.com/blog/2016/05/23/apache-spark-as-a-compiler-joining-a-billion-rows-per-second-on-a-laptop.html
简而言之，利用WholeStageCodeGen技术，可以将一次计算过程中的多个operators作为一个整体，生成与手写代码性能相近的代码。

修改hexo站点配置

编辑站点配置文件_config.yml，将post_asset_folder设置为true（默认为false）。

安装插件

在站点根目录执行：

1

npm install https://github.com/CodeFalling/hexo-asset-image --save

环境与版本

• OS：centos 7
• JDK版本：1.8
• Spark版本：2.1.0
• Scala版本：2.11
• IDE：intellij idea 14.1.4

前置条件

• 完成编译Spark源码并导入intellij

编写示例代码

在intellij中新建一个scala工程，取名为“RemoteDebugSparkAppDemo”，添加Spark2.1.0依赖，并编写如下的示例代码：