Bölmələrə ayırma məlumatların işlənməsini sürətləndirən I/O əməliyyatlarının həcmini əhəmiyyətli dərəcədə minimuma endirməyə kömək edir Spark verilənlərin lokalizasiyası ideyasına əsaslanır. Bu, emal üçün işçi qovşaqlarının onlara daha yaxın olan məlumatlardan istifadə etdiyini göstərir. Nəticə olaraq bölmələr şəbəkə giriş/çıxışını azaldır və məlumatların işlənməsi daha sürətli olur.
Qığılcımda bölməni nə vaxt istifadə etməliyəm?
Spark/PySpark bölməsi məlumatları çoxlu bölmələrə bölmək üçünyoludur, beləliklə siz paralel olaraq birdən çox arakəsmədə transformasiyaları yerinə yetirə biləsiniz ki, bu da işi daha tez başa çatdırmağa imkan verir. Siz həmçinin aşağı axın sistemləri tərəfindən daha sürətli oxunmaq üçün bölmələrə ayrılmış məlumatları fayl sisteminə (birdən çox alt-kataloq) yaza bilərsiniz.
Niyə datanı bölmək lazımdır?
Bir çox irimiqyaslı həllərdə məlumatlar ayrıca idarə oluna və əldə edilə bilən bölmələrə bölünür. Bölmə miqyasını təkmilləşdirə, mübahisələri azalda və performansı optimallaşdıra bilər … Bu məqalədə bölmə termini verilənlərin fiziki olaraq ayrı-ayrı məlumat anbarlarına bölünməsi prosesi deməkdir.
Qığılcım neçə hissəyə sahib olmalıyam?
Spark üçün ümumi tövsiyə tətbiq üçün klasterdəki nüvələrin sayına görə 4x bölmələrə malik olmaqdır və yuxarı hədd üçün - tapşırığın yerinə yetirilməsi üçün 100ms+ vaxt lazımdır.
Qığılcım qarışdırma bölmələri nədir?
Qarışıq bölmələr qığılcım dataframe-də qruplaşdırılmış və ya birləşmə əməliyyatından istifadə etməklə yaradılmış arakəsmələrdir. Bu dataframe-dəki bölmələrin sayı orijinal dataframe bölmələrindən fərqlidir. … Bu, dataframe-də iki bölmənin olduğunu göstərir.
