SSIS チュートリアル: SQL SERVER 統合サービス

SSIS チュートリアルでは、SQL Server Integration Services の基本概念と高度な概念を提供します。 SSIS チュートリアルは初心者と専門家向けに設計されています。

SQL Server統合サービス は、データの抽出、変換、およびデータの読み込みに使用される、高速で柔軟なデータウェアハウスツールです。あるデータベースから SQL Server、Oracle、Excel ファイルなどの別のデータベースにデータを簡単にロードできます。

このチュートリアルでは、次のトピックについて説明します。

SSISとは
データ統合とは
SSIS を選ぶ理由
SSIS の仕組み
SQL Server 統合サービスの要件
SSIS パッケージとは
SSIS タスク
データフロータスクの例
SQL実行タスクの例

SSISとは何ですか?

SSIS は SQL Server Integration Services の略です。
これは、幅広い統合タスクを実行するために使用される Microsoft SQL Server データベースソフトウェアで利用可能なコンポーネントです。
これは、データの抽出、別のデータベースへのデータのロード、データのクリーニング、集計、結合などの変換に使用されるデータウェアハウスツールです。
SSIS ツールには、電子メールメッセージの送信、FTP 操作、データソースなどのグラフィカルツールとウィンドウウィザードのワークフロー機能も含まれています。
SSIS は、幅広い変換および統合タスクを実行するために使用されます。全体として、SSIS ツールはデータ移行に使用されます。

SSIS は、主に次の 2 つの機能を実行するために使用されるツールです。

データ統合とは何ですか?

データ統合は、複数のソースからのデータを統合するために実行するプロセスです。データは、異種データまたは同種データのいずれかです。データは、構造化、半構造化、または非構造化のいずれかにすることができます。データ統合では、異なる異なるデータソースからのデータが統合されて、意味のあるデータが形成されます。

データ統合を実現するには、いくつかの方法が使用されます。

データモデリング:データモデリングでは、まずデータモデルを作成し、それに対して操作を実行する必要があります。データプロファイリング:データプロファイリングは、利用可能なデータのエラー、不一致、または変動をチェックするために使用されるプロセスです。データプロファイリングはデータ品質を保証します。データ品質とはデータの正確さ、一貫性、完全性を指します。

データ統合の利点:

なぜSSISなのか？

SSIS は次の理由で使用されます。

SSIS はどのように機能するのでしょうか?

SSIS は、データ統合とワークフローという 2 つの機能のためのプラットフォームであることがわかっています。データ変換とワークフロー作成の両方のタスクは、SSIS パッケージを使用して実行されます。 SSIS パッケージは 3 つのコンポーネントで構成されています。

運用データ

運用データは、複数のデータソースからのデータを統合して、データに対して追加の操作を実行するために使用されるデータベースです。これは、保存、レポート、またはアーカイブのためにデータウェアハウスにデータを送信する前に、現在の操作のためにデータが格納される場所です。

ブラウザの設定はどこで確認できますか

ETL

ETL は SSIS ツールで最も重要なプロセスです。 ETL は、データを抽出、変換し、データウェアハウスにロードするために使用されます。
ETL は、複数のデータソースからデータを抽出し、有用なデータに変換して、データウェアハウスに保存するプロセスです。データは、任意の形式の XML ファイル、フラットファイル、または任意のデータベースファイルにすることができます。
また、データウェアハウスに保存されているデータが関連性があり、正確で、高品質で、ビジネスユーザーにとって有用であることも保証されます。
簡単にアクセスできるため、データウェアハウスを効果的かつ効率的に使用できます。
また、複数のデータソースから構造化データと非構造化データを取得することで、組織がデータ主導の意思決定を行うのにも役立ちます。

ETL は 3 つの単語からなる概念ですが、次の 4 つのフェーズに分かれています。

捕獲： キャプチャフェーズは抽出フェーズとも呼ばれます。このフェーズでは、ソースデータまたはメタデータが選択されます。データは、XML ファイル、フラットファイル、データベースファイルなどの任意の形式にすることができます。

スクラブ： このフェーズでは、元のデータがチェックされます。データにエラーがないかどうかをチェックします。いくつかの人工知能技術を使用して、データのエラーや不整合がチェックされます。一言で言えば、製品の品質が満たされているかどうかを検証します。

変身： これは ETL の第 3 フェーズです。変換は、元の形式を必要な形式に変換するプロセスです。変換とは、ユーザーの要件に従ってデータをモデル化または変更することです。変更は、列数または行数の変更のいずれかです。

ロードとインデックス付け: 4 番目のフェーズはロードとインデックスです。データをロードし、処理された行数を検証します。データのロードが完了すると、インデックス付けが使用されます。インデックス付けは、データウェアハウスにロードされた行数を追跡するのに役立ちます。インデックス付けは、データが正しい形式であるかどうかにかかわらず、データを識別するのにも役立ちます。

データウェアハウス

データウェアハウスは、複数のデータソースからのデータを組み合わせて形成される、単一の完全かつ一貫したデータストアです。

データベースとデータウェアハウスの違い

答えは「はい」でも「いいえ」でも構いません。データベースとデータウェアハウスはどちらも大きな単位のデータと同様の物理的表現を持っていますが、データウェアハウスの複雑なクエリの応答時間はデータベースよりも高速です。

SQL Server 統合サービスの要件

SQL Server Integration Services をインストールするための要件は次のとおりです。

SQLサーバーをインストールする
SQL Server データツールをインストールする

SQL Server データツールをインストールするには、次の手順に従います。

ステップ1： リンクをクリックしてください https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 SQL Server データツールをダウンロードします。

ステップ2： 上記リンクをクリックすると、以下の画面が表示されます。

上の画面で、インストールする SSDT のバージョンを選択します。

ステップ 3: ダウンロードが完了したら、ダウンロードしたファイルを実行します。ダウンロードしたファイルを実行すると、次のような画面が表示されます。

ステップ 4: 「次へ」ボタンをクリックします。

ステップ5: Visual Studio 2017 にインストールする Visual Studio インスタンスとツールを選択します。

ステップ6: クリックしてください インストール ボタン。

SSIS パッケージとは何ですか?

パッケージは、SSIS でコーディングするための基本的なブロックです。ここでのコードとは、何らかのプログラミング言語でコーディングしていることを意味するものではありません。それはあなたが行う開発を意味します。開発は SSIS パッケージで行われます。 SSIS は主に ETL プロセスに使用され、ETL プロセスは SSIS パッケージ内で実行されます。

SSIS パッケージは 3 つの部分で構成されます。

SSIS タスク

SSIS パッケージでは、タスクを追加できます。タスクは作業の単位であり、さまざまな種類の作業を実行するためにさまざまな種類のタスクがあります。タスクにはさまざまな種類がありますが、SSIS で使用される最も一般的なタスクについて説明します。

データ統合サービスの実例をいくつか見てみましょう。

データフロータスクの例

ステップ1： まず、Microsoft ExcelでExcelファイルを作成します。 Microsoft Excel で学生データベースを作成し、学生テーブルのフィールドが学生 ID、学生名、マーク、性別であるとします。

ステップ2： ビジュアルスタジオ (SQL Server データツール) を開きます。

例外処理Java

ステップ 3: 「ファイル」オプションをクリックし、「新規」->「プロジェクト」に移動します。

ステップ 4: プロジェクトをクリックすると、次のような画面が表示されます。

上の画面で、パネルの左端に表示される「Integration Services」をクリックし、「Integration Services Project」をクリックします。

ステップ5: をクリックした後 統合サービスプロジェクト オプションを選択すると、次のような画面が表示されます。

上記画面は、「コントロールフロー」「データフロー」「パラメーター」「イベントハンドラー」「パッケージエクスプローラー」の5つのタブで構成されています。制御フローとデータフローについてはすでに説明しましたが、制御フローとデータフローは両方とも SSIS パッケージ内に存在します。

ステップ6: データをインポートするには、まず SQL Server データベースにテーブルを作成するデータベースを作成する必要があります。学生データは Excel ファイル内で利用できることがわかっているので、そのデータを SQL Server データベースにインポートしたいと考えています。これを実現するには、まず SQL Server にテーブルを作成する必要があります。 SQL Server 管理スタジオを開きます。

ステップ7: を作成します。学生データベース。データベースを右クリックし、 新しいデータベース オプション。

ステップ8: 以下のスクリーンショットにデータベース名を入力します。

データベース名として StudentWarehouse を指定しました。

ステップ9: クリックしてください わかりました ボタン。

ステップ 10: ここで、テーブルを作成します。 学生倉庫 データベース。テーブルを右クリックし、[新しいテーブル] をクリックします。

ステップ 11: ここで、student_id、student_name、marks、gender などのフィールドをテーブルに追加します。 Student_id を各行を一意に識別する主キーとして設定します。

上の画面は、テーブルに 4 つのフィールドを追加することを示しています。テーブルにすべてのフィールドを追加した後、便利な名前を付けてテーブルを保存します。テーブル名として Student を指定したとします。

ステップ 12: ビジュアルスタジオに戻ります。制御フローにはデータフロータスクが含まれており、データフロータスクをメインウィンドウにドラッグアンドドロップします。

ステップ 13: データフロータスクをダブルクリックすると、コントロールは自動的にコントロールフローからデータフローに移動するため、コントロールフローはデータフローのコンテナーであると言えます。

ステップ 14: これで、データフローで変換を実行できるようになりました。先ほど作成したExcelファイルからデータを抽出したいので、パネルの一番左に表示されている他のソースからExcelソースをドラッグ＆ドロップします。

上の画面から、Excel ソース内に赤い×印が表示されていることがわかります。これは、コンポーネントが Excel ソースで構成されていることを意味します。

ステップ 15: コンポーネントを設定するには、以下のスクリーンショットに示すように、Excel ソースを右クリックし、[編集] オプションをクリックします。

ステップ 16: 以下のスクリーンショットに示されている詳細を入力します。

ステップ 17: すべての詳細を入力すると、次のような画面が表示されます。

ステップ 18: Excel ソースをクリックします。

上の画面には、赤と青の 2 つの矢印が表示されています。青い矢印は Excel ファイルから受け取る実際のデータを定義し、赤い矢印は発生したエラーを示します。次に、変換を実行する必要があります。変換を実行する前に、データベースをロードする必要があります。

ステップ 19: データベースをロードするには、「その他の宛先」をクリックしてから、宛先をクリックします。

ステップ 20: 宛先を追加した後、ソースを宛先に接続します。

ステップ21: 上記の手順では、ADO NET 宛先に赤い×印が付いていることに気付きました。これは、コンポーネントが構成されていないことを意味します。以下のスクリーンショットに示すように、ADO NET 宛先を右クリックし、[編集] オプションをクリックします。

ステップ22: 構成マネージャーを指定する必要があります。

ステップ23: クリックしてください 新しい ボタンをクリックして接続マネージャーを追加します。をクリックすると、 新しい ボタンを押すと、次のような画面が表示されます。

ステップ24: サーバー名を追加し、SQL Server からデータベース名を選択します。

ステップ25: 「OK」ボタンをクリックします。

ステップ26: データをロードするテーブル名を追加します。

ステップ27: 以下の画面で、入力ソースのフィールドを宛先ソースのフィールドにマッピングします。

Javaで配列を初期化する方法

ステップ28: マッピングを追加すると、以下のスクリーンショットに示すように、ソースが宛先に接続されます。

ステップ29: クリックしてください 始める ボタンをクリックして、Integration Services プロジェクトを実行します。プロジェクトを実行すると、データが宛先にロードされます。 SQLサーバー 。

SQL実行タスクの例

前の例のステップ 2 からステップ 5 の手順に従います。
をドラッグアンドドロップします。 SQLタスクの実行 メインウィンドウの左端のパネルに表示されます。

上の画面では、SQL 実行タスクに赤十字が表示されていることがわかります。これは、 接続マネージャー で構成されていません SQLタスクの実行 。これを構成するには、接続マネージャーを追加する必要があります。

接続マネージャーを追加するには、以下のスクリーンショットに示すように、接続マネージャーを右クリックし、[新しい接続マネージャー] をクリックします。

を選択 OLEDB 接続マネージャーの種類として選択し、追加以下のスクリーンショットに示すように、ボタンをクリックします。

をクリックした後、追加ボタンを押すと、以下のスクリーンショットに示す画面が表示されます。

上の画面では、次のデータ接続が確認されています。 学生倉庫 データベースは前の手順で作成したようにすでに使用可能です。クリックしてください わかりました ボタン。

「OK」ボタンをクリックすると、以下のような画面が表示されます。

上の画面では、タスクの名前、説明、SQL ステートメント (テーブルに対して実行する必要がある SQL タスク) などの詳細を入力する必要があります。

上のスクリーンショットに次の詳細を入力しました。

上記の場合、SQLStatement に挿入コマンドを提供しました。

クリックしてください わかりました ボタン。
SQL 実行タスクを使用してコンポーネントを構成すると、以下のスクリーンショットに示すように、赤い十字が消えます。

をクリックしてプロジェクトを実行します。 始める 。

をクリックすると、 始める 、次のような画面が表示されます。

上の画面では、チェックマークは SQL タスクが正常に完了したことを示しています。前の手順で追加した挿入ステートメントが実行され、データがテーブルに追加されます。つまり、student1です。

このタスクの出力を以下に示します。

前提条件

SSIS を学習する前に、SQL Server の基本的な知識を持っている必要があります。

観客

SSIS チュートリアルは、初心者と専門家を支援するように設計されています。

問題

この SSIS チュートリアルでは問題が見つからないことを保証します。ただし、間違いや誤りがある場合は、お問い合わせフォームにエラーを投稿してください。