CTC 教育サービス
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes
連載の3回目(最終回)では「クラウドデータレイクサービスとその事例」を説明します。
まず、前回の復習です。前回は「データレイクをクラウド上で構築・運用する3つのメリット」を紹介しました。
オンプレミス環境ではなくクラウドサービスでデータレイクを構築・運用することで、
1)大容量で安価なストレージ
2)需要の増減に対応できる弾力性
3)ビジネスの成長に追いつけるスケーラビリティ
の「データレイクで重要な3要素」を容易かつ安価に実現できます。
それでは、具体的なクラウドデータレイクサービスとして
の2つをその活用事例と共に紹介します。
Amazon Web Services (AWS)は、2024年12月現在 最も利用されているパブリッククラウドサービスで、約33%の市場シェアを占めています。[1]
そのAWS上で「安全なデータレイクを数日で簡単にセットアップできるサービス」[2]が"AWS Lake Formation"です。[3]
AWS Lake Formationを使用すると、データの収集やカタログ化、クレンジング、変換、セキュリティ設定などの複雑なデータ管理タスクを自動化し、専門知識がなくても迅速かつ効率的にデータレイクを構築できます。
AWSには、データを収集し、管理・分析するための様々なサービスが用意されています。
例えば、
などです。
これらのサービスを組み合わせればデータレイクの構築は可能なのですが、利用するサービスが多岐にわたるため導入に多くの作業ステップが必要で、運用管理のハードルも高いです。
また、セキュリティに関する設定も複雑になりがちで、「AWS上でのデータレイク構築には数ヶ月単位の時間が必要だ」と言われていました。[4]
その高い導入障壁を緩和してくれるサービスが、AWS Lake Formationです。
AWS Lake Formation を使用すると、
の3つを定義するだけで、各サービスを個別に設定することなく簡単に安全なデータレイクを作成することができます。
さらに、きめ細かなアクセス制御(FGAC:Fine-Grained Access Control)を使用すれば、データベースやテーブル、列、行などの各レベルでデータアクセスを制御できるセキュリティポリシーを簡単に定義できます。
また、AWS Lake Formation の利用料金は無料です。
配下で活用するAmazon S3 やAWS Glue などのサービスには課金されますが、AWS Lake Formation が提供するアクセス権限の設定などは無償で利用できます。
AWS Lake Formation の具体的な利用例に「OneFootball のデータレイク構築」があります。[5]
OneFootball は、毎月7000万人以上が利用する、サッカーファン向けのメディアプラットフォームです。[6]
OneFootballは、それまで4~6週間かかっていたデータの取り込みと分析を効率化するために、AWS Lake Formationを利用して数日でデータレイクを構築しました。
その結果、分析にかかる時間が2日間に短縮され、社内チームの生産性が向上し迅速な意思決定が可能になりました。
この事例のように、AWS上で迅速かつ効率的にデータレイクを構築できるサービスが、AWS Lake Formation です。
Snowflake 社は、2012年アメリカ カリフォルニア州で設立された「クラウドベースのデータ管理プラットフォームサービス」を提供する会社です。[7]
クラウドデータレイクの世間一般での認知と共に急成長を遂げており、2019年には「No.1のスタートアップ企業」としてLinkdin に認定されました。[8]
2025年第3四半期の売上高は、9億30万ドル(前年同期比29%増)、サービスは世界中の1万600以上(前年同期比20%増)の組織で利用されています。[9]
日本法人は2019年12月に設立され、楽天やアシックス、静岡銀行など多くの日本の企業や団体のデータ活用を支援しています。
Snowflake 社のクラウドデータレイクサービスの特徴は以下の3つです。
Snowflake のデータレイクは、AWS、Azure、Google Cloud など、複数のパブリッククラウドサービスに対応している「マルチクラウド」なサービスです。
異なるクラウド環境でのデータの一元管理が可能で、利用者は必要に応じて最適なクラウドサービスを選択し、リソースを柔軟に拡張できます。
Snowflake 社は「Snowflakeマーケットプレイス」という、データ、アプリケーション、AIプロダクトを利用者間で売買できるプラットフォームを提供しています。[10]
例えば「ユーザーの購買動向や商品の需要を、天候や気温データを基になるべく正確に予測したい」という場合、精度の高い気象データをどこからか入手しなければなりません。
そのような「データ分析の新しい切り口として外部データを導入したい」や「自分たちが集めたデータを安全に収益化したい」というニーズに応えてくれる場所が、Snowflakeマーケットプレイスです。
例えば日本では、ウェザーニューズ社が高精度(1~5kmメッシュ)の気象データを2021年6月からSnowflake マーケットプレイスで販売しており、企業の「気象データDX」を支援しています。[11]
2024年6月の「Snowflake Summit 2024」イベントの基調講演おいて、Snowflake 社のブランドメッセージを「Data Cloud カンパニー」から「AI Data Cloud カンパニー」に変更しました。
Snowflake 社の AI 部門責任者のバリス・グルテキン氏は「AI Data Cloudは、AIとデータを自然な方法で活用できる環境を目指している」と語っています。[12]
これまでは高度な専門知識を持った人のみがデータ分析・活用を行っていました。ですが、AIを上手に活用すれば一般のビジネスユーザーであったとしても簡単にデータにアクセスし、分析・活用ができるようになります。(=データ活用の民主化)
そのための多くのAIサービス(=Snowflake Cortex)をSnowflake 社は2024年5月に発表しました。その中の一つが「Snowflake Cortex Analyst」です。
Cortex Analystは、自然言語を使ってSnowflakeの構造化データの分析ができるようになる、フルマネージド型のサービスです。
例えば「○○地区で昨年度から最も売上がアップした商品を教えてください」とCortex Analyst に尋ねると、まるで目の前に優秀なアナリストがいるかのようにデータを分析し答えてくれます。
日本でのSnowflake Cortexの活用例として、静岡銀行の「営業活動支援用の生成AIチャットボット」を紹介します。
チャットで「お客様との次回の打ち合わせでどんな提案すればいい?」と質問すると、蓄積された活動情報や顧客情報をもとにSnowflake Cortexが顧客の状況に応じた最適な回答を返してくれ、効率的な営業活動ができるようになります。
このような「生成AIチャットボット」の開発に着手したと、静岡銀行が2024年10月に発表しました。[13]
このコラムでは、全3回にわたって
を紹介しました。
クラウドデータレイクサービスは、企業が大量のデータを効率的に管理・分析するための強力なツールです。
データによるDXを実現するために欠かせない魅力的なサービスを、このコラムを通じて少しでも皆様に伝えることができたら幸いです。
参考文献:Rukmani Gopalan (著), 丸本 健二郎 (監修), 長尾 高弘 (翻訳)(2024) 『クラウドデータレイク ―無限の可能性があるデータを無駄なく活かすアーキテクチャ設計ガイド』 オライリー・ジャパン
[1] アメリカの調査会社Canalys による2024年第3四半期のパブリッククラウド市場調査結果
https://www.publickey1.jp/blog/24/aws332azure203google10canalys20243.html
[2] AWS Lake Formation 一般公開のお知らせ
https://aws.amazon.com/jp/about-aws/whats-new/2019/08/aws-lake-formation-is-now-generally-available/
[3] AWS Lake Formation
https://aws.amazon.com/jp/lake-formation/
[4] 【AWS Black Belt Online Seminar】 AWS Lake Formation
https://d1.awsstatic.com/webinars/jp/pdf/services/20191001_BlackBelt_LakeFormation_A.pdf
[5] OneFootball は AWS Lake Formation を利用して数日でデータレイクを構築し、7,000 万人のファンにサービスを提供
https://aws.amazon.com/jp/solutions/case-studies/onefootball-aws-lake-formation-case-study/
[6] OneFootball
https://onefootball.com/en/home
[7] Snowflake について
https://www.snowflake.com/ja/company/overview/about-snowflake/
[8] Top Startups To Work For In 2019 According To LinkedIn
https://www.forbes.com/sites/louiscolumbus/2019/09/04/top-startups-to-work-for-in-2019-according-to-linkedin/
[9] Snowflake社の2025年度第3四半期の決算報告
https://investors.snowflake.com/news/news-details/2024/Snowflake-Reports-Financial-Results-for-the-Third-Quarter-of-Fiscal-2025/
[10] Snowflake マーケットプレイス
https://www.snowflake.com/ja/data-cloud/marketplace/
[11] 気象データをSnowflake経由でデータシェアリング、天気のビジネス活用で企業のDXを推進
https://news.mynavi.jp/techplus/kikaku/snowflake-workload-12/
[12] 会社の看板を"AIデータクラウド"に掛け替えたSnowflakeの現在地、AI部門責任者に聞く
https://ascii.jp/elem/000/004/217/4217398/
[13] 3 社連携で営業活動の高度化・効率化をめざす「生成 AI チャットボット」の開発に着手
https://www.shizuokabank.co.jp/news/20241025_g4o/241025_NR1.pdf
~「なんとなく知っている」を「はっきりわかる」へ~ クラウド概要 様々なビジネスシーンにおいて利用が拡大しているクラウドの基礎知識を習得します。 本コースでは、クラウドコンピューティングとは何か、やメリット/デメリット、どのようなサービスが利用できるか、などを紹介します。また、代表的なパブリッククラウドサービスの特徴を事例を交えながら活用方法を紹介します。 コースの詳細・開催スケジュール |
~統計基礎からデータ分析の考え方まで~ ゼロから始めるデータサイエンス ~DS検定リテラシーレベル対応講座~ インターネットやビッグデータの広がりと共に、多種多様なデータが収集され蓄積されるようになりました。これからの時代を生き抜くためには、このたくさんのデータを正しく集め、正しく分析し、正しく利用することが求められます。 本コースでは、データサイエンティストに求められる基礎スキルを、2日間の講座で分かりやすく丁寧に解説します。統計の基礎知識だけでなく、データを収集するときの注意点や分析のポイント、そしてその後の利用や扱い方について、具体的で実践的な内容を扱います。データサイエンティストとして活躍するための基礎力はもちろん、今の時代を生きるすべての人に必要な「データを扱う力」を養う事を身に着ける手助けになります。「与えられた情報を見るだけ」だった状態から、「その情報の裏に潜む何か」を見つけられるようになりましょう! また本コースのカリキュラムは、データサイエンティスト検定リテラシーレベルのシラバスに沿った構成となっているため、試験を受験予定の方にもおすすめのコースです。(シラバスver5対応) ※本コースはデータサイエンス協会の監修済みコースです。 コースの詳細・開催スケジュール |
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes