Ubuntu 18 Spark 安装

写在前面： 装了三天，差点自闭，，，简直心力交瘁，怀疑人生。几个字母的命令都可以打错，后来全部都用粘贴复制，希望手残党引以为戒。

另外感谢下文中引用的作者，对新手十分友好~~




首先安装  虚拟机   Ubuntu18.04
考虑到 windows 上的文件 和 Linux上的可能需要互通，于是选择装了虚拟机，而不是装双系统（双系统在开机时会提示选择进入哪个系统）；另外由于之后想要实践spark，所以给虚拟机分配的资源还是比较多的。
虚拟机选用 VMware，就不用多说了。
Linux 选择的是Ubuntu，因为Ubuntu用的人比较多，学习资源也比较全。Ubuntu和Linux的关系，就如同安卓系统和小米/华为/三星系统一样。大家都是用的安卓系统，但是小米/华为/三星会在原生系统上继续包装。
step 1、VMware Pro 14.1.3 下载

step 2、VMware安装

step3、Ubuntu 安装

整体还是比较简单的~~（做到这里我以为自己是个王者，下面开虐）




Linux 基本操作指令的学习
莫凡Linux简易教学
简单实用易上手




安装 Java JDK 、Hadoop 、 Spark

主要参考：
ubuntu18.04从零开始搭建单机spark环境



为了避免新手踩坑，下面写一下我自己踩的坑。
opt文件夹路径问题配置文件/etc/profile问题pyspark 配置.bashrc 环境变量pycharm 配置使用 pyspark 内存不足问题
1、opt文件夹的路径

注意，opt 文件夹是系统文件夹，可以在computer下面查看，不是在home下面！！！

cd  /opt  可以进入该文件夹

如果提示permission问题，表示opt文件夹必须要管理员权限才能修改，此时命令前加 sudo

例如， sudo rm   .../java   /opt/java




当文件路径不清楚（或者太长）时，可以先去图形界面找到该文件夹，右键复制，然后回到命令行，粘贴，即可以显示出该文件夹的路径




2、修改配置文件/etc/profile，使用命令：sudo vim /etc/profile

首先要检查是不是安装了vim，之后使用命令 sudo vim /etc/profile 打开配置文件

另外，vim的使用方法比较特殊：

按 i 键，切换到insert模式，才能进行编辑
编辑完成后，光标移动至末尾，ctrl “c” 、 ctrl  “ ”、shift “：”
此时末尾出现输入光标，输入 “wq” （写入后保存），按回车键即可保存

切记，不要打开后，强制退出！！！不要强制退出！！！
强制退出，系统会保存临时文件，之后每次打开都要选择打开哪一份文件。此时需要删除临时文件后，才能恢复正常。

如果只是打开，未发生修改，直接退出：
 ctrl  “ ”、shift “：”，此时末尾出现光标，输入“q”，按回车键退出
每次修改过该文件，都要执行 source /etc/profile 才能使配置文件生效。




上述文章中对profile的修改，总是出现问题，因此我参考了其他文章

下面是完整的profile文件配置，如果保存有保存出错的同学，可以整个文件粘贴复制过去

export 的 路径注意修改

# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))
# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).

if [