SSIS チュートリアルでは、SQL Server Integration Services の基本概念と高度な概念を提供します。 SSIS チュートリアルは初心者と専門家向けに設計されています。
SQL Server統合サービス は、データの抽出、変換、およびデータの読み込みに使用される、高速で柔軟なデータ ウェアハウス ツールです。あるデータベースから SQL Server、Oracle、Excel ファイルなどの別のデータベースにデータを簡単にロードできます。
このチュートリアルでは、次のトピックについて説明します。
- SSISとは
- データ統合とは
- SSIS を選ぶ理由
- SSIS の仕組み
- SQL Server 統合サービスの要件
- SSIS パッケージとは
- SSIS タスク
- データ フロー タスクの例
- SQL実行タスクの例
SSISとは何ですか?
- SSIS は SQL Server Integration Services の略です。
- これは、幅広い統合タスクを実行するために使用される Microsoft SQL Server データベース ソフトウェアで利用可能なコンポーネントです。
- これは、データの抽出、別のデータベースへのデータのロード、データのクリーニング、集計、結合などの変換に使用されるデータ ウェアハウス ツールです。
- SSIS ツールには、電子メール メッセージの送信、FTP 操作、データ ソースなどのグラフィカル ツールとウィンドウ ウィザードのワークフロー機能も含まれています。
- SSIS は、幅広い変換および統合タスクを実行するために使用されます。全体として、SSIS ツールはデータ移行に使用されます。
SSIS は、主に次の 2 つの機能を実行するために使用されるツールです。
SSIS は、複数のソースからのデータを組み合わせてデータ統合を実行し、統一されたデータをユーザーに提供します。
ワークフローを使用していくつかのことを実行できます。場合によっては、期間、パッケージに渡されるパラメーター、またはデータベースからクエリされたデータに基づく、いくつかの特定のステップまたは特定のパスを実行する必要があります。これを使用すると、SQL Server データベースのメンテナンスを自動化し、多次元分析データを更新できます。
データ統合とは何ですか?
データ統合は、複数のソースからのデータを統合するために実行するプロセスです。データは、異種データまたは同種データのいずれかです。データは、構造化、半構造化、または非構造化のいずれかにすることができます。データ統合では、異なる異なるデータ ソースからのデータが統合されて、意味のあるデータが形成されます。
データ統合を実現するには、いくつかの方法が使用されます。
データ統合の利点:
データの複雑さが軽減されるため、データをあらゆるシステムに配信できます。データ統合により、複雑さが維持され、接続が合理化され、あらゆるシステムへのデータ配信が容易になります。
データの整合性はデータ統合において重要な役割を果たします。データのクレンジングと検証を扱います。誰もが高品質で堅牢なデータを望んでいます。そのため、このデータ統合の概念を実現するために使用されます。データ統合は、エラー、不整合、重複を取り除くのに役立ちます。
アクセシビリティはデータ コラボレーションに含まれます。アクセシビリティとは、データを簡単に変換でき、ユーザーがデータをプロジェクトに簡単に統合し、結果を共有し、データを最新の状態に保つことができることを意味します。
また、より賢明な決定を下すこともできます。統合データとは、情報をより理解しやすくするために企業内で送信されるプロセスを指します。統合されたデータははるかに簡単で有益です。
なぜSSISなのか？
SSIS は次の理由で使用されます。
SSIS は、複数のデータ ソースからのデータを結合して、統合ビューで単一の構造を生成するために使用されます。基本的に、データの収集、複数のデータ ソースからのデータの抽出、および 1 つのデータ ソースへの結合を担当します。
SSSIS は、Excel から SQL Server データベースに大量のデータを読み込む機能を備えたプラットフォームです。
SSSIS ツールは、Microsoft の他の製品との緊密な統合を提供します。
SSSIS ツールは、他のほとんどのツールよりも安価です。他の基本製品、その管理性、ビジネス インテリジェンスなどに対抗することができます。
SSSIS を使用すると、データフロー内の複雑なエラーを処理できます。エラーの重大度に基づいてデータフローを開始および停止できます。エラーが発生した場合には、管理者にメールを送信することもできます。エラーが解決したら、ワークフロー間のパスを選択できます。
SSIS はどのように機能するのでしょうか?
SSIS は、データ統合とワークフローという 2 つの機能のためのプラットフォームであることがわかっています。データ変換とワークフロー作成の両方のタスクは、SSIS パッケージを使用して実行されます。 SSIS パッケージは 3 つのコンポーネントで構成されています。
運用データ
運用データは、複数のデータ ソースからのデータを統合して、データに対して追加の操作を実行するために使用されるデータベースです。これは、保存、レポート、またはアーカイブのためにデータ ウェアハウスにデータを送信する前に、現在の操作のためにデータが格納される場所です。
ブラウザの設定はどこで確認できますか
ETL
- ETL は SSIS ツールで最も重要なプロセスです。 ETL は、データを抽出、変換し、データ ウェアハウスにロードするために使用されます。
- ETL は、複数のデータ ソースからデータを抽出し、有用なデータに変換して、データ ウェアハウスに保存するプロセスです。データは、任意の形式の XML ファイル、フラット ファイル、または任意のデータベース ファイルにすることができます。
- また、データ ウェアハウスに保存されているデータが関連性があり、正確で、高品質で、ビジネス ユーザーにとって有用であることも保証されます。
- 簡単にアクセスできるため、データ ウェアハウスを効果的かつ効率的に使用できます。
- また、複数のデータ ソースから構造化データと非構造化データを取得することで、組織がデータ主導の意思決定を行うのにも役立ちます。
ETL は 3 つの単語からなる概念ですが、次の 4 つのフェーズに分かれています。
捕獲： キャプチャフェーズは抽出フェーズとも呼ばれます。このフェーズでは、ソース データまたはメタデータが選択されます。データは、XML ファイル、フラット ファイル、データベース ファイルなどの任意の形式にすることができます。
スクラブ： このフェーズでは、元のデータがチェックされます。データにエラーがないかどうかをチェックします。いくつかの人工知能技術を使用して、データのエラーや不整合がチェックされます。一言で言えば、製品の品質が満たされているかどうかを検証します。
変身： これは ETL の第 3 フェーズです。変換は、元の形式を必要な形式に変換するプロセスです。変換とは、ユーザーの要件に従ってデータをモデル化または変更することです。変更は、列数または行数の変更のいずれかです。
ロードとインデックス付け: 4 番目のフェーズはロードとインデックスです。データをロードし、処理された行数を検証します。データのロードが完了すると、インデックス付けが使用されます。インデックス付けは、データ ウェアハウスにロードされた行数を追跡するのに役立ちます。インデックス付けは、データが正しい形式であるかどうかにかかわらず、データを識別するのにも役立ちます。
データウェアハウス
データ ウェアハウスは、複数のデータ ソースからのデータを組み合わせて形成される、単一の完全かつ一貫したデータ ストアです。
データベースとデータウェアハウスの違い
答えは「はい」でも「いいえ」でも構いません。データベースとデータ ウェアハウスはどちらも大きな単位のデータと同様の物理的表現を持っていますが、データ ウェアハウスの複雑なクエリの応答時間はデータベースよりも高速です。
SQL Server 統合サービスの要件
SQL Server Integration Services をインストールするための要件は次のとおりです。
- SQLサーバーをインストールする
- SQL Server データ ツールをインストールする
SQL Server データ ツールをインストールするには、次の手順に従います。
ステップ1： リンクをクリックしてください https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 SQL Server データ ツールをダウンロードします。
ステップ2： 上記リンクをクリックすると、以下の画面が表示されます。
上の画面で、インストールする SSDT のバージョンを選択します。
ステップ 3: ダウンロードが完了したら、ダウンロードしたファイルを実行します。ダウンロードしたファイルを実行すると、次のような画面が表示されます。
ステップ 4: 「次へ」ボタンをクリックします。
ステップ5: Visual Studio 2017 にインストールする Visual Studio インスタンスとツールを選択します。
ステップ6: クリックしてください インストール ボタン。
SSIS パッケージとは何ですか?
パッケージは、SSIS でコーディングするための基本的なブロックです。ここでのコードとは、何らかのプログラミング言語でコーディングしていることを意味するものではありません。それはあなたが行う開発を意味します。開発は SSIS パッケージで行われます。 SSIS は主に ETL プロセスに使用され、ETL プロセスは SSIS パッケージ内で実行されます。
SSIS パッケージは 3 つの部分で構成されます。
SSIS パッケージにはいくつかの接続があり、これらの接続はさまざまなデータ ソースに接続するために使用されます。
SSIS パッケージは、制御フロー要素とデータ フロー要素の 2 つの要素で構成されます。制御フロー要素はワークフローを処理します。ワークフローとは、いくつかのタスクを段階的に実行することを意味し、シーケンスは制御フローを通じて実行されます。
データ フロー要素は変換を実行します。
SSIS タスク
SSIS パッケージでは、タスクを追加できます。タスクは作業の単位であり、さまざまな種類の作業を実行するためにさまざまな種類のタスクがあります。タスクにはさまざまな種類がありますが、SSIS で使用される最も一般的なタスクについて説明します。
これは、リレーショナル データベースに対して SQL ステートメントを実行するために使用されます。
これは主に、1 つまたは複数のデータ ソースからデータを読み取り、データを変換するために使用され、データを 1 つまたは複数の宛先にロードすることもできます。
SSAS キューブまたは表形式モデルのオブジェクトを処理するために使用されます。
このタスクは、同じプロジェクト内の他のパッケージを呼び出すために使用されます。呼び出されたパッケージに変数値を渡すこともできます。
これにより、アプリケーションまたはバッチ スクリプトを SQL Server Integration Services として実行できます。 Microsoft Excel、Microsoft Wordなどの標準アプリケーションを開くために使用できます。また、圧縮ファイルを解凍するためにも使用されます。
ファイルの移動、ファイルの削除、ファイル名の変更、ディレクトリの変更など、ファイル システム内の操作を実行するために使用できます。
IFTP タスクは、ファイルとフォルダーに対する操作を実行するために使用されます。たとえば、FTP サーバーからローカル ディレクトリにファイルを送受信する場合は、SSIS FTP タスクが使用されます。
このタスクを使用すると、実行する .Net コードを作成できます。
このタスクは電子メールの送信に使用されます。これは主に、タスクが実行中かエラーが発生したかをユーザーに通知する場合に使用されます。
データ統合サービスの実例をいくつか見てみましょう。
データ フロー タスクの例
ステップ1： まず、Microsoft ExcelでExcelファイルを作成します。 Microsoft Excel で学生データベースを作成し、学生テーブルのフィールドが学生 ID、学生名、マーク、性別であるとします。
ステップ2： ビジュアル スタジオ (SQL Server データ ツール) を開きます。
例外処理Java
ステップ 3: 「ファイル」オプションをクリックし、「新規」->「プロジェクト」に移動します。
ステップ 4: プロジェクトをクリックすると、次のような画面が表示されます。
上の画面で、パネルの左端に表示される「Integration Services」をクリックし、「Integration Services Project」をクリックします。
ステップ5: をクリックした後 統合サービスプロジェクト オプションを選択すると、次のような画面が表示されます。
上記画面は、「コントロールフロー」「データフロー」「パラメーター」「イベントハンドラー」「パッケージエクスプローラー」の5つのタブで構成されています。制御フローとデータ フローについてはすでに説明しましたが、制御フローとデータ フローは両方とも SSIS パッケージ内に存在します。
ステップ6: データをインポートするには、まず SQL Server データベースにテーブルを作成するデータベースを作成する必要があります。学生データは Excel ファイル内で利用できることがわかっているので、そのデータを SQL Server データベースにインポートしたいと考えています。これを実現するには、まず SQL Server にテーブルを作成する必要があります。 SQL Server 管理スタジオを開きます。
ステップ7: を作成します。 学生 データベース。データベースを右クリックし、 新しいデータベース オプション。
ステップ8: 以下のスクリーンショットにデータベース名を入力します。
データベース名として StudentWarehouse を指定しました。
ステップ9: クリックしてください わかりました ボタン。
ステップ 10: ここで、テーブルを作成します。 学生倉庫 データベース。テーブルを右クリックし、[新しいテーブル] をクリックします。
ステップ 11: ここで、student_id、student_name、marks、gender などのフィールドをテーブルに追加します。 Student_id を各行を一意に識別する主キーとして設定します。
上の画面は、テーブルに 4 つのフィールドを追加することを示しています。テーブルにすべてのフィールドを追加した後、便利な名前を付けてテーブルを保存します。テーブル名として Student を指定したとします。
ステップ 12: ビジュアル スタジオに戻ります。制御フローにはデータ フロー タスクが含まれており、データ フロー タスクをメイン ウィンドウにドラッグ アンド ドロップします。
ステップ 13: データ フロー タスクをダブルクリックすると、コントロールは自動的にコントロール フローからデータ フローに移動するため、コントロール フローはデータ フローのコンテナーであると言えます。
ステップ 14: これで、データ フローで変換を実行できるようになりました。先ほど作成したExcelファイルからデータを抽出したいので、パネルの一番左に表示されている他のソースからExcelソースをドラッグ＆ドロップします。
上の画面から、Excel ソース内に赤い×印が表示されていることがわかります。これは、コンポーネントが Excel ソースで構成されていることを意味します。
ステップ 15: コンポーネントを設定するには、以下のスクリーンショットに示すように、Excel ソースを右クリックし、[編集] オプションをクリックします。
ステップ 16: 以下のスクリーンショットに示されている詳細を入力します。
ステップ 17: すべての詳細を入力すると、次のような画面が表示されます。
ステップ 18: Excel ソースをクリックします。
上の画面には、赤と青の 2 つの矢印が表示されています。青い矢印は Excel ファイルから受け取る実際のデータを定義し、赤い矢印は発生したエラーを示します。次に、変換を実行する必要があります。変換を実行する前に、データベースをロードする必要があります。
ステップ 19: データベースをロードするには、「その他の宛先」をクリックしてから、宛先をクリックします。
ステップ 20: 宛先を追加した後、ソースを宛先に接続します。
ステップ21: 上記の手順では、ADO NET 宛先に赤い×印が付いていることに気付きました。これは、コンポーネントが構成されていないことを意味します。以下のスクリーンショットに示すように、ADO NET 宛先を右クリックし、[編集] オプションをクリックします。
ステップ22: 構成マネージャーを指定する必要があります。
ステップ23: クリックしてください 新しい ボタンをクリックして接続マネージャーを追加します。をクリックすると、 新しい ボタンを押すと、次のような画面が表示されます。
ステップ24: サーバー名を追加し、SQL Server からデータベース名を選択します。
ステップ25: 「OK」ボタンをクリックします。
ステップ26: データをロードするテーブル名を追加します。
ステップ27: 以下の画面で、入力ソースのフィールドを宛先ソースのフィールドにマッピングします。
Javaで配列を初期化する方法
ステップ28: マッピングを追加すると、以下のスクリーンショットに示すように、ソースが宛先に接続されます。
ステップ29: クリックしてください 始める ボタンをクリックして、Integration Services プロジェクトを実行します。プロジェクトを実行すると、データが宛先にロードされます。 SQLサーバー 。
SQL実行タスクの例
- 前の例のステップ 2 からステップ 5 の手順に従います。
- をドラッグアンドドロップします。 SQLタスクの実行 メインウィンドウの左端のパネルに表示されます。
上の画面では、SQL 実行タスクに赤十字が表示されていることがわかります。これは、 接続マネージャー で構成されていません SQLタスクの実行 。これを構成するには、接続マネージャーを追加する必要があります。
- 接続マネージャーを追加するには、以下のスクリーンショットに示すように、接続マネージャーを右クリックし、[新しい接続マネージャー] をクリックします。
- を選択 OLEDB 接続マネージャーの種類として選択し、 追加 以下のスクリーンショットに示すように、ボタンをクリックします。
- をクリックした後、 追加 ボタンを押すと、以下のスクリーンショットに示す画面が表示されます。
上の画面では、次のデータ接続が確認されています。 学生倉庫 データベースは前の手順で作成したようにすでに使用可能です。クリックしてください わかりました ボタン。
- 「OK」ボタンをクリックすると、以下のような画面が表示されます。
上の画面では、タスクの名前、説明、SQL ステートメント (テーブルに対して実行する必要がある SQL タスク) などの詳細を入力する必要があります。
- 上のスクリーンショットに次の詳細を入力しました。
上記の場合、SQLStatement に挿入コマンドを提供しました。
- クリックしてください わかりました ボタン。
- SQL 実行タスクを使用してコンポーネントを構成すると、以下のスクリーンショットに示すように、赤い十字が消えます。
- をクリックしてプロジェクトを実行します。 始める 。
- をクリックすると、 始める 、次のような画面が表示されます。
上の画面では、チェックマークは SQL タスクが正常に完了したことを示しています。前の手順で追加した挿入ステートメントが実行され、データがテーブルに追加されます。つまり、student1です。
- このタスクの出力を以下に示します。
前提条件
SSIS を学習する前に、SQL Server の基本的な知識を持っている必要があります。
観客
SSIS チュートリアルは、初心者と専門家を支援するように設計されています。
問題
この SSIS チュートリアルでは問題が見つからないことを保証します。ただし、間違いや誤りがある場合は、お問い合わせフォームにエラーを投稿してください。