柚子快報(bào)邀請(qǐng)碼778899分享：spark復(fù)習(xí)題

http://yzkb.51969.com/

Sparkf復(fù)習(xí)

主要框架

RDD 為項(xiàng)目團(tuán)隊(duì)提供了一個(gè)明確的框架，以便在整個(gè)項(xiàng)目周期內(nèi)對(duì)項(xiàng)目進(jìn)行管理和控制

叫做彈性分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象，它代表一個(gè)不可變、可分區(qū)、里面的元素可并行計(jì)算的集合

SQL(DataFrame) 索引和切片?數(shù)據(jù)清洗?數(shù)據(jù)轉(zhuǎn)換?計(jì)算和統(tǒng)計(jì)?排序和排名 條件篩選

Streaming 支持可擴(kuò)展的、高吞吐量的、容錯(cuò)的實(shí)時(shí)數(shù)據(jù)流處理

Graphx?圖形和圖形并行計(jì)算的組件，實(shí)現(xiàn)了大規(guī)模圖計(jì)算

圖構(gòu)建和操作 圖算法 頂點(diǎn)屬性和邊屬性 分布式計(jì)算 圖切割

MLlib 其是Apache Spark的機(jī)器學(xué)習(xí)庫(kù)，它提供了一系列常用的機(jī)器學(xué)習(xí)算法和工具，用于數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練和評(píng)估等任務(wù)

Sprak支持的語(yǔ)言：Scala java python R

Python下使用Spark：PySpark支持所有主要框架（Graphx除外）

Transform函數(shù)：延遲執(zhí)行ma，filter，groupBy，join

Action函數(shù)：立即執(zhí)行count，collect，save，reduce，take

無(wú)監(jiān)督學(xué)習(xí)：聚類(lèi)PCA、k-means

有監(jiān)督學(xué)習(xí)：有學(xué)習(xí)樣本的、回歸、決策樹(shù)、深度學(xué)習(xí)

scala語(yǔ)法

val和var的區(qū)別

1.val（value）用于聲明不可變的變量，一旦賦值之后，其值就不能被改變，類(lèi)似于Java中的final變量。

使用val聲明的變量不能重新賦值，嘗試這樣做會(huì)導(dǎo)致編譯錯(cuò)誤。

即使是對(duì)于可變類(lèi)型的對(duì)象，如Map，使用val聲明的引用本身是不可變的，但對(duì)象的內(nèi)容是可以被修改的

2.var（variable）用于聲明可變的變量，可以在其生命周期內(nèi)被重新賦值。

使用var聲明的變量可以改變其值，但是變量的類(lèi)型一旦在初始化時(shí)確定，就不能改變。即var變量可以在同一類(lèi)型之間進(jìn)行賦值和修改，但不能跨類(lèi)型修改。

函數(shù)的定義、if-else語(yǔ)句、采用for循環(huán)遍歷數(shù)組（采用下標(biāo)遍歷和直接遍歷）

下標(biāo)遍歷：for(a < -0 to 10)

直接遍歷：for(ele < -數(shù)組/List)

循環(huán)過(guò)濾：for(a?< -0?to 10?if?a%2?==?0)前面的a?< -0?to10，應(yīng)該是從0到9（不包括10）加上后面的a%2?==?0，就是從0到9中間篩選偶數(shù)

雙for循環(huán)遍歷

元組A中的元素引用：A_1表示第一個(gè)元素

RDD

RDD的構(gòu)建：讀取文件textFile、array或list構(gòu)建Paralize RDD遍歷打印：collect后foreach(println) RDD的結(jié)構(gòu)：RDD[KEY,VALUE]，舉例：RDD[KEY,{VA，VB}],?RDD[KEY,VA] RDD的join、groupby都是針對(duì)KEY的 KEY不支持復(fù)雜類(lèi)型 RDD內(nèi)、左外、右外、全連接函數(shù)：join，rightOuterJoin,leftOuteroin,fullQuterJoin reduceByKey的作用 按照相同的key,對(duì)value進(jìn)行聚合(求和)SQL(DataFrame) 結(jié)構(gòu)：與Pandas相同，每列都有自己的類(lèi)型，DataFrame[A,B,C] 可以針對(duì)每一列join，groupby groupBy("列名“) join(col("列名"))、join(col("列名")，"left")、join(col("列名")，"right")、join(col("列名")，"full") 遍歷打?。簊how0默認(rèn)20條，show（number）可打印number條，show{lnt.MaxValue)所有 改列名：withColumnRenamedGraphX 不可以從外部修改vetex和Edge Graph[KEY,VALUEI是一個(gè)RDD，KEY：頂點(diǎn)的屬性，VALUE：邊的屬性

柚子快報(bào)邀請(qǐng)碼778899分享：spark復(fù)習(xí)題

http://yzkb.51969.com/