分散型SQLデータベースで注文あたりのコストを25％削減する方法

※このブログは2022年3月15日に公開された英語ブログ「How to Reduce Cost Per Order by 25% with a Distributed SQL Database」の拙訳です。

著者: Phoebe He (DevRel & Community at PingCAP)

ZTO Express社 (NYSE: ZTO) は、世界最大の物流会社の1つです。2020年、ZTO社は170億個以上の荷物を配達し、市場シェアは20.4%に達しました。コロナの影響で急増した配達量は、サプライチェーンに試練を与えています。同時に、物流会社は、特にショッピングのピーク日や週には、スピードとサービスをめぐって競争を繰り広げています。

オープンソースの分散型NewSQLデータベースであるTiDBを採用する前、ZTO社は現在の技術インフラで成長痛に直面していました。TiDBを活用することで、リアルタイムの洞察を得て、注文あたりのコストを削減することができました。本稿では、以下の内容をご紹介します。

• サプライチェーン業界における課題とは
• ZTO社のデータベースへの要望
• TiDBがいかにしてZTO社のより強力で俊敏なビジネスサポートを実現したか

サプライチェーン業界の課題

顧客満足度の向上

スマートフォンなどのデジタルフロントエンドデバイスにより、顧客は注文履歴の表示や荷物の追跡が可能な専用ページを必要としています。オンタイム・パフォーマンス (OTP) とリアルタイム・トラッキングは、物流会社を選ぶ際の重要な差別化ポイントになります。

ZTO社は100以上の情報システムを使用して、荷物の追跡を完全にデジタル化しています。数十億のデータポイントを収集し、いつでもどのデバイスからでもリアルタイムに荷物を追跡可能とすることで、カスタマーエクスペリエンスを向上させています。また、中央宅配便情報システムは、全体の宅配便量を監視し、ピークやラストマイルの経路変更に必要な忙しい地域を識別しています。配送の遅延は遅延損害金の発生を意味するため、正確なデータ監視が非常に重要なのです。

運用コストの上昇

物流企業の総コストには、輸送コスト、在庫維持コスト、管理コストなどがあります。ビッグデータと、真のリアルタイムダッシュボードと即時スケジューリングを備えた二次配送ロジスティクスシステムは、この3つのコストすべてを削減するために、重要な役割を果たしています。

ZTO社の配送網を支えるのは、何万台ものトラックです。荷物はディストリビューターセンターに保管され、目的地が近い荷物はまとめて発送されます。ZTO社の二次配送ロジスティクスシステムは、各パッケージが通るルートを予測します。荷物が移動する間に、荷物のデータに変化があれば、システムがそれを把握し、より新鮮なデータをもとにリアルタイムに状況を診断しなければなりません。そのため、ZTO社では大量のデータを低レイテンシーで処理する必要があり、70以上のフィールドを持つワイドテーブルを構築しました。

ExadataはZTO社のニーズに応えらず

ZTO社がTiDBを採用する前は、100以上の情報システムで収集したデータをSparkを通じて中央宅配便情報システムに同期し、Oracleに保存していました。ZTO社は、外部サービス機能を提供するためのAPIとアプリケーションデータサービスを持っていました。

ZTO社のビジネス・ワークロードが加速するにつれ、同社のITアーキテクチャは、データ量の急激な増加や同時更新の多さに対して、妥当な価格でのハードウェアのアップグレードを行うことが難しくなりました。

また、大量のデータからリアルタイムに診断する要件も満たせませんでした。これらの診断は、モニタリングやスケジューリングの基盤となるものです。

ZTO社の課題をまとめると、次のようになります。

• データの保存。レガシーシステムでは、15日分の履歴データしか保存できませんでした。日々のデータ量が増えるにつれて、スケールアップするためのコストが高くなりました。また、ビジネスアプリケーションでは、15日分以上のデータを追跡する必要がありました。
• 直前のルート変更。以前の技術ラック、DataXとSqoopによる抽出-変換-ロード (ETL) は、取り込みの遅延が大きく、スループットは最適ではなく、クエリの応答も低速でした。そのため、古いデータに基づいた意思決定が行われていました。
• ピーク時のパフォーマンス。年度ごとに、あるいはピーク時に合わせて自由にスケールアップすることができませんでした。

TiDB：よりシンプルな構造でアジャイルにビジネスをサポート

2019年、ZTO社はTiDBを選択し、現在では100以上のTiDB物理ノードを本番環境に導入しています。これらのノードは、課金、受注センター、メッセージセンター、スマートトランスシップ関連のアプリケーションで使用されています。新しい情報システムは、より良いカスタマーエクスペリエンスを提供し、効率を高め、運用コストを低減します。

同年のZTO社の受注高は、前年比42.2％増の121億2千万件で、業界平均の伸び率を16.9ポイントも上回りました。ZTO社のビジネス部門は「ITの運用効率が300％もアップした！」と大喜びです。

現在、ZTO社は輸送中の各荷物の状況をほぼリアルタイムで把握しています。二次配送の物流システムにより、Tier 1とTier 2の都市では、荷物1個あたりの配送料が平均25％削減されました。TiDBにより、新しい情報システムは経営管理を洗練させ、業務効率を向上させました。その結果、2020年第2四半期には、ZTO社の受注単価は前年同期比17.1％減となりました。

TiDBの導入で、対応データの保存期間は15日から45日に延長されました。2021年の宅配便全国調査において、ZTO社は80~90%の高いオンタイム・パフォーマンス (OTP) を維持し、初めてOTPトップ3に入りました。2021年の「独身の日」イベントでは、ZTO社は通常の荷物の約8.6倍にあたる3億個の荷物を扱い、1日で1億個以上の荷物を配送しました。Tier1都市に住む多くの人が、寝る前に注文し、翌日の朝食をとる前に荷物を手に入れたのです。

シンプルな構造かつスケーラブル

TiDBはMySQLと互換性があるため、ZTO社の現在のアーキテクチャに適合し、先に述べた課題をすべて解決しています。TiDBは、リアルタイム書き込みが可能な複数のアプリケーションシステムをサポートしています。TiSparkはまた、ZTO社が複数のデータソースの集約に基づく高速かつ正確なデータクエリで、リアルタイムダッシュボードを実現するために役立ちました。TiSparkは、アプリケーションが簡単にクエリを実行できるように標準APIも提供しています。

TiDBを利用して、新システムでは以下を実現しています。

• ワークロードのサイズに応じた自動スケーラビリティを備えた全経路追跡。これにより、より正確な配達時間、スケジューリングとモニタリングのための強固な基準を提供します。
• 最新の荷物データを反映した高同時性更新。TiDBで7万トランザクション/秒 (TPS) の書き込み・更新処理を行い、カラムストアのTiFlashで300MB/秒の書き込みを行ったピーク時でも、これを維持することができました。
• 大量データ、ワイドテーブル、多次元クエリ分析に基づくリアルタイム診断を、カラムストアによる高速スキャン、高速グルーピング、強力な一貫性で実現します。
• 強一貫性のある分散トランザクションとセカンダリインデックスによる最新データの高並列クエリに基づく、全体的なインサイトの鮮度。
• TiSparkは、ZTO社の分単位のオンラインデータ分析をサポートしています。このITサービスは、ZTO社のキャンペーン期間中も安定的に提供されます。

シンプルな構造の登場

このアーキテクチャでは、Sparkストリームがオンラインとオフラインのデータソースを統合し、TiDBに書き込みます。例えば、Sparkは荷物の状態変遷データと、荷物に関するオフラインのサイズデータとを結合します。

その結果はリアルタイムでTiDBに書き込まれます。TiDBは3億行のデータをHiveに集約して処理することができます。

TiDBは、同時に多くのユーザーがアクセスする荷物の問い合わせをサポートするために行ストアを使用し、複数の次元での集計を伴うリアルタイムのレポートをサポートするために列ストアを使用しています。

TiDBのTiSparkコンポーネントは、リアルタイムレイヤー (TiDB) とHadoopエコシステムの橋渡しをします。定期的にTiDBのデータをHadoop分散ファイルシステム (HDFS) またはAmazon S3にアーカイブし、オフラインでの高負荷分析に備えます。

まとめ

TiDBの導入により、ZTO社の新しい全経路デジタル化システムは採算が合うようになりました。より長い期間の小包の履歴情報、優れたオンタイム・パフォーマンス (OTP) 、スケジューリングとルート最適化による効率性の向上、運用コストと配送コストの削減により、より良いカスタマーエクスペリエンスの提供が実現しています。