<code id="8ka2b"></code>
<th id="8ka2b"></th>
<em id="8ka2b"></em>

<li id="8ka2b"><acronym id="8ka2b"><kbd id="8ka2b"></kbd></acronym></li>
    <dd id="8ka2b"><pre id="8ka2b"></pre></dd>
    1. <dd id="8ka2b"></dd>

        <ol id="8ka2b"><object id="8ka2b"><blockquote id="8ka2b"></blockquote></object></ol>

        千鋒教育-做有情懷、有良心、有品質的職業教育機構

        手機站
        千鋒教育

        千鋒學習站 | 隨時隨地免費學

        千鋒教育

        掃一掃進入千鋒手機站

        領取全套視頻
        千鋒教育

        關注千鋒學習站小程序
        隨時隨地免費學習課程

        【熱點話題】 零基礎學IT IT學習教程 IT學習筆記 IT技術干貨 IT培訓機構 IT應聘面試 IT職場就業 Java培訓機構哪些好
        當前位置:首頁  >  關于學院  >  技術干貨  > SparkRDD之核心原理知多少

        SparkRDD之核心原理知多少

        來源:千鋒教育
        發布人:qyf
        時間: 2022-10-08 17:42:15 1665222135

        SparkRDD之核心原理知多少

          1、Spark的核心概念是RDD (resilientdistributed dataset),指的是一個只讀的,可分區的分布式數據集,這個數據集的全部或部分可以緩存在內存中,在多次計算間重用。

          2、RDD在抽象上來說是一種元素集合,包含了數據。它是被分區的,分為多個分區,每個分區分布在集群中的不同Work節點上,從而讓RDD中的數據可以被并行操作。(分布式數據集)

          3、RDD通常通過Hadoop上的文件,即HDFS文件或者Hive表,來進行創建;有時也可以通過RDD的本地創建轉換而來。

          4、傳統的MapReduce雖然具有自動容錯、平衡負載和可拓展性的優點,但是其最大缺點是采用非循環式的數據流模型,使得在迭代計算式要進行大量的磁盤IO操作。RDD正是解決這一缺點的抽象方法。

          RDD最重要的特性就是,提供了容錯性,可以自動從節點失敗中恢復過來。即如果某個節點上的RDD partition,因為節點故障,導致數據丟了,那么RDD會自動通過自己的數據來源重新計算該partition。這一切對使用者是透明的。RDD的lineage特性。

          5、RDD的數據默認情況下存放在內存中的,但是在內存資源不足時,Spark會自動將RDD數據寫入磁盤。(彈性)

        聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。

        10年以上業內強師集結,手把手帶你蛻變精英

        請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通

        免費領取

        今日已有369人領取成功

        劉同學 138****2860 剛剛成功領取
        王同學 131****2015 剛剛成功領取
        張同學 133****4652 剛剛成功領取
        李同學 135****8607 剛剛成功領取
        楊同學 132****5667 剛剛成功領取
        岳同學 134****6652 剛剛成功領取
        梁同學 157****2950 剛剛成功領取
        劉同學 189****1015 剛剛成功領取
        張同學 155****4678 剛剛成功領取
        鄒同學 139****2907 剛剛成功領取
        董同學 138****2867 剛剛成功領取
        周同學 136****3602 剛剛成功領取

        猜你喜歡LIKE

        最新文章NEW

        相關推薦HOT

        更多>>

        快速通道 更多>>

        開班信息
        北京校區
        • 北京校區
        • 大連校區
        • 廣州校區
        • 成都校區
        • 杭州校區
        • 長沙校區
        • 合肥校區
        • 南京校區
        • 上海校區
        • 深圳校區
        • 武漢校區
        • 鄭州校區
        • 西安校區
        • 青島校區
        • 重慶校區
        • 太原校區
        • 沈陽校區

        人人爽天天碰天天躁夜夜躁
        <code id="8ka2b"></code>
        <th id="8ka2b"></th>
        <em id="8ka2b"></em>

        <li id="8ka2b"><acronym id="8ka2b"><kbd id="8ka2b"></kbd></acronym></li>
          <dd id="8ka2b"><pre id="8ka2b"></pre></dd>
          1. <dd id="8ka2b"></dd>

              <ol id="8ka2b"><object id="8ka2b"><blockquote id="8ka2b"></blockquote></object></ol>