Apache Spark チュートリアルでは、Spark の基本概念と高度な概念を説明します。 Spark チュートリアルは初心者と専門家向けに設計されています。

Spark は、SQL、ストリーミング、機械学習、グラフ処理用の組み込みモジュールを含む、大規模なデータ処理のための統合分析エンジンです。

Spark チュートリアルには、Spark の導入、Spark のインストール、Spark アーキテクチャ、Spark コンポーネント、RDD、Spark リアルタイムの例などを含む Apache Spark のすべてのトピックが含まれています。

スパークとは何ですか?

Apache Spark は、オープンソースのクラスター コンピューティング フレームワークです。その主な目的は、リアルタイムで生成されたデータを処理することです。

Spark は Hadoop MapReduce の上に構築されました。 Hadoop の MapReduce などの代替アプローチがコンピューターのハード ドライブとの間でデータを書き込むのに対し、これはメモリ内で実行するように最適化されています。したがって、Spark は他の代替手段よりもはるかに高速にデータを処理します。

Apache Spark の歴史

Spark は、2009 年にカリフォルニア大学バークレー校の AMPLab で Matei Zaharia によって開始されました。2010 年に BSD ライセンスの下でオープンソース化されました。

2013 年に、このプロジェクトは Apache Software Foundation に買収されました。 2014 年に、Spark はトップレベルの Apache プロジェクトとして登場しました。

Apache Sparkの特徴

速い- 最先端の DAG スケジューラ、クエリ オプティマイザ、および物理実行エンジンを使用して、バッチ データとストリーミング データの両方に高いパフォーマンスを提供します。使いやすい- Java、Scala、Python、R、SQL でのアプリケーションの作成が容易になります。また、80 を超える高レベルの演算子も提供します。一般性- SQL と DataFrames、機械学習用の MLlib、GraphX、Spark Streaming などのライブラリのコレクションを提供します。軽量- 大規模なデータ処理に使用される軽量の統合分析エンジンです。どこでも実行可能- Hadoop、Apache Mesos、Kubernetes、スタンドアロン、またはクラウド上で簡単に実行できます。

スパークの使用法

データ統合:システムによって生成されたデータは、分析のために結合できるほど一貫性がありません。システムから一貫したデータを取得するには、抽出、変換、ロード (ETL) などのプロセスを使用できます。 Spark は、この ETL プロセスに必要なコストと時間を削減するために使用されます。ストリーム処理:ログ ファイルなどのリアルタイムに生成されるデータを処理するのは常に困難です。 Spark はデータのストリームを操作するのに十分な能力を備えており、不正な操作の可能性を拒否します。機械学習:データ量の増加により、機械学習アプローチはより実現可能になり、精度も高まっています。 Spark はデータをメモリに保存でき、繰り返しのクエリを迅速に実行できるため、機械学習アルゴリズムの作業が容易になります。インタラクティブな分析:Spark は応答を迅速に生成できます。したがって、事前定義されたクエリを実行する代わりに、データを対話的に処理できます。

前提条件

Spark を学習する前に、Hadoop の基本的な知識を持っている必要があります。

観客

Spark チュートリアルは、初心者と専門家を支援するように設計されています。

問題点

この Spark チュートリアルでは問題が見つからないことを保証します。ただし、間違いがある場合は、お問い合わせフォームに問題を投稿してください。