Airbyteを使用してTiDB CloudからSnowflakeにデータを移行する

TiDB Cloud Developer Tierを使う

1. 無料のTiDB Cloudアカウントにサインアップ してログインします。 すでにTiDB Cloudアカウントをお持ちの場合は、アカウントに直接 ログイン することもできます。
2. Active Clustersページで、Create Clusterrをクリックします。次に、Developer Tierボックスで、1 year Free Trialを選択します。
   注：有料のDedicated Tierを選択して、パフォーマンスを向上させることもできます。
3. クラスタ名、クラウドプロバイダー (Developer Tierで使用できるのはAWSのみ)、およびリージョンを設定します。(近くのリージョンが推奨されます。) 次に、Createをクリックしてクラスタを作成します。
   注：通常、TiDB Cloudクラスタの作成には1〜3分かかります。
4. クラスタを作成すると、Active Clustersページが表示されます。作成したクラスター名をクリックして、クラスタコントロールパネルに移動します。
5. Connectをクリックして、トラフィックフィルターを作成します。
6. ポップアップウィンドウで、IPアドレスに0.0.0.0/0を設定して、他のIPアドレスからのアクセスを許可します。

サンプルデータをTiDB Cloudにインポートする

TiDB Cloudクラスタを作成したら、データをTiDB Cloudに移行できます。ここでは、Capital Bikeshareのシステムデータセットをサンプルデータとして使用して、データをTiDB Cloudにインポートする方法を説明します。

1. Importをクリックすると、Data Import Taskページに移動します。
2. Data Import Taskページのフィールドに次のパラメーターを入力します。
   • Data Source Type：AWS S3
   • Bucket URL：s3://tidbcloud-samples/data-ingestion/
   • Data Format：TiDB Dumpling
   • Role-ARN：arn:aws:iam::385595570414:role/import-sample-access
   • Target Cluster Username and password：TiDB clusterのものと同じ
3. すべてのフィールドに入力したら、Importをクリックします。これでサンプルデータをTiDB Cloudにインポートできます。通常、インポートプロセスが完了するまでに約3分かかります。

SnowflakeでAirbyte固有のエンティティを設定する

データをSnowflakeに書き込むには、ウェアハウス、データベース、スキーマ、ユーザー、およびロールを含むAirbyte固有のSnowflakeエンティティを、OWNERSHIP権限で作成する必要があります。

1. 最初にSnowflakeアカウントにサインアップすると、30日間無料で試用できます。すでにお持ちの場合は、アカウントに直接サインアップできます。
2. Snowflakeアカウントにサインインしたら、Worksheetsをクリックして新しいワークシートを作成します。
3. 次のスクリプトでpassword、aribyte_role、airbyte_username、airbyte_warehouse、airbyte_database、およびairbyte_schemaを変更します。ここではデフォルトパラメータを例として使用します。次に、スクリプト全体をコピーしてWorksheetsページに貼り付けます。

   -- set variables (these need to be uppercase)
   set airbyte_role = 'AIRBYTE_ROLE';
   set airbyte_username = 'AIRBYTE_USER';
   set airbyte_warehouse = 'AIRBYTE_WAREHOUSE';
   set airbyte_database = 'AIRBYTE_DATABASE';
   set airbyte_schema = 'AIRBYTE_SCHEMA';
   -- set user password
   set airbyte_password = 'password';
   begin;
   -- create Airbyte role
   use role securityadmin;
   create role if not exists identifier($airbyte_role);
   grant role identifier($airbyte_role) to role SYSADMIN;
   -- create Airbyte user
   create user if not exists identifier($airbyte_username)
   password = $airbyte_password
   default_role = $airbyte_role
   default_warehouse = $airbyte_warehouse;
   grant role identifier($airbyte_role) to user identifier($airbyte_username);
   -- change role to sysadmin for warehouse / database steps
   use role sysadmin;
   -- create Airbyte warehouse
   create warehouse if not exists identifier($airbyte_warehouse)
   warehouse_size = xsmall
   warehouse_type = standard
   auto_suspend = 60
   auto_resume = true
   initially_suspended = true;
   -- create Airbyte database
   create database if not exists identifier($airbyte_database);
   -- grant Airbyte warehouse access
   grant USAGE
   on warehouse identifier($airbyte_warehouse)
   to role identifier($airbyte_role);
   -- grant Airbyte database access
   grant OWNERSHIP
   on database identifier($airUse existing destinationbyte_database)
   to role identifier($airbyte_role);
   commit;
   begin;
   USE DATABASE identifier($airbyte_database);
   -- create schema for Airbyte data
   CREATE SCHEMA IF NOT EXISTS identifier($airbyte_schema);
   commit;
   begin;
   -- grant Airbyte schema access
   grant OWNERSHIP
   on schema identifier($airbyte_schema)
   to role identifier($airbyte_role);
   commit; 
   

4.Queryをクリックします。 5.Airbyteのホームページに戻りDatabaseをクリックします。AIRBYTE_DATABASEという名前のワークシートがACCOUNTADMINとAIRBYTE_ROLEで作成されていることがわかります。
注：これらのパラメーターを書き留めておいてください。後でSnowflakeの宛先を作成するときに、それらの一部を再度入力します。Airbyteのドキュメントで詳細を確認することもできます。

独自のワークスペースにAirbyteをデプロイする

いくつかの手順を実行するだけでAirbyteをローカル環境に展開することができます。

1. アプリケーションコンテナであるDockerをワークスペースにインストールします。
2. 以下のようにAirbyteのソースコードををDockerにクローンします。

   $ git clone https://github.com/airbytehq/airbyte.git
   $ cd airbyte
   

3. docker-composeでDockerイメージを実行します。Airbyteのバナーが表示されたら、UIでhttp://localhost:8000にアクセスする準備ができています。

   $ docker-compose up
   

AirbyteでTiDB Cloudソースを作成する

Airbyteをデプロイしたら、TiDB Cloud用の新しいソースコネクタをセットアップすることができます。

1. DockerパネルでSourcesをクリックし、ソースタイプとしてTiDBを選択します。
2. パネルのName、Host、Port、Database、UsernameおよびPasswordを含むすべてのフィールドに入力します。
3. JDBC URL Paramsフィールドに、enabledTLSProtocols=TLSv1.2または、enabledTLSProtocols=TLSv1.3のいずれかを入力して、TLSプロトコルをTLSv1.2または、TLSv1.3に設定します。
4. SSL Connection.を有効にします。
   注：TiDB Cloudとの TLS connectionを無効にする場合は、JDBC URL Paramsフィールドの前のパラメーターをuseSSL=falseに変更し、SSL Connectionを無効にする必要があります。
5. Set up sourceをクリックして、TiDB Cloudソースを作成します。

AirbyteでSnowflakeの宛先を作成する

1. DockerパネルでDestinationsをクリックし、宛先タイプとしてSnowflakeを選択します。
2. Name、Host、Role、Warehouse、Database、Default Schema,、およびUsernameを含むすべてのフィールドに入力します。これらはSnowflakeでAirbyte固有のエンティティを設定するセクションのパラメーターです。
3. Authorization Methodドロップダウンボックスで、Username and Passwordを選択して、PasswordをUsernameに関連付けます。
4. Loading Methodドロップダウンボックスで、[Recommended] Internal Stagingを選択します。
5. Set up destinationをクリックしてSnowflakeの宛先を作成します。

接続を構築し、TiDB CloudからSnowflakeにデータを変換する

TiDB CloudソースとSnowflakeの宛先を設定したら、2つの間の接続を構築できます。

1. DockerパネルでDestinationsを選択しNew Connectionをクリックします。
2. Create a sourceをクリックしSelect an existing sourceを選択します。次に、ドロップダウンボックスで以前に作成したTiDBを選択しUse existing sourceをクリックします。
3. 同様に先に作成したSnowflakeを宛先として選択し、Use existing destinationをクリックします。
4. ソースと宛先を選択したら、Set up connectionパネルに移動します。この接続を識別するのに役立つ名前を作成します。ここではTiDB-Snowflakeを接続名として使用します。
5. Replication frequencyフィールドでManualを選択します。これはデータが手動で移行されることを意味します。
6. Destination NamespaceフィールドでMirror source structureを選択して、ソースと同じ場所にデータを保存します。
7. TiDB CloudからSnowflakeに移行するスキーマを選択してアクティブ化します。ここでは例としてtripsとtype_countテーブルを選択します。
   注：
   • TiDBソースコネクタは、インクリメンタルとフルリフレッシュの2種類の同期をサポートしています：インクリメンタル同期モードでは、Airbyteは最後の同期タスク以降にソースに追加されたレコードのみを読み取ります。(最初の同期タスクでは、インクリメンタル同期モードはフルリフレッシュ同期モードと同等です) フルリフレッシュ同期モードでは、Airbyteはすべての同期タスク中にソースのすべてのレコードを読み取り、移行先に移行します。
   • AirbyteのNamespaceセクションで、各テーブルの同期モードを個別に設定できます。
8. Normalization & Transformationセクションで、Normalized tabular dataを選択します。
9. Set up connectionをクリックして、データ同期タスクを開始します。通常このプロセスが完了するまでに数分かかります。 おめでとうございます！上記のすべての手順を完了すると、データがTiDB CloudからSnowflakeに正常に移行され、データがAIRBYTE_DATABASE.BIKESHAREスキーマに保存されます。これでSnowflakeで分析クエリを作成できるようになりました。

まとめ

このチュートリアルではTiDB Cloud、Snowflake、およびAirbyteを構成する方法と、Airbyteを使用して他の2つを接続する方法を学習しました。また、多次元分析のためにTiDB CloudとSnowflakeからデータを移行する方法も学びました。TiDBソースコネクタはAirbyteのローカル環境で既に利用可能であり、他のソースからのデータ移行をサポートするために、TiDB宛先コネクタをすぐにリリースする予定です。

構成または移行中に問題が発生した場合は、TwitterまたはSlackチャンネルに参加してご意見やフィードバックをお寄せください。