整体回顾

之前大一的时候就开始接一些单子做,从一开始的 50,100,帮人写写脚本,做做课设作业,再到后来慢慢开始改 bug,开发功能模块,最后做完整的商单,单价也慢慢涨到 200,500,1000,也学了全套的技术栈,运维,后端,前端

期间也接触了很多方向,我认为本科期间比起学习一条专精技术栈,更重要的是培养自己的学习能力,对前沿技术的足够敏感,同时找到自己真正感兴趣的方向

Spark环境搭建和使用

词频统计

任务描述

读取文件 /data/bigfiles/example.txt 中的内容，完成 WordCount 词频统计，其中单词之间的间隔符为：一个空格符。最终输出结果按大小写字母升序排列，使用 \t 作为字段输出间隔符，如下所示：

A    10
B    3
a    5
b    10
c    1
d    9

代码补充完成后，打开右侧命令行窗口，使用 maven 打包项目，并使用 spark-submit 进行手动提交，将打包提交运行的结果保存到 /root/result.txt 文件中。

为什么记笔记?

没错,比怎么做更重要的是为什么要这么做

记笔记可以给我们一个复盘的过程，让我们可以把低级的数据流经过自己的组织后,变成有用的信息

详见:知识、信息、数据的定义 - 知乎

如何记笔记

• txt:

  • 通常来说,记笔记可以使用txt记录,但是这太low了,并且纯文本没有排版,不适合人类阅读，所以尽量不要使用记事本记录笔记哦

• word:

  • 另一部分人会使用word进行记录,优势很明显,排版可以做到很漂亮,功能也很强大,但是操作较繁琐,需要在键盘鼠标之间不停切换,并且不适合多平台的展示(只能用word类软件打开)

• markdown:

  • 作为程序员群体,可以使用markdown来进行记录.基本语法10分钟就可以学会,同时可以通过前端三件套来进行高级样式的编写(前端三件套基本属于必学技能)
  • markdown语法更加通用,可以在很多地方