DataikuとDatabricksが実現する最新のアナリティクスアプローチ

データ部門およびIT部門のリーダーは、厳格なガバナンスを維持しながらAI成果の提供スピードを加速するという、ますます高まるプレッシャーに直面しています。データ量は急増し、モデルはより複雑化し、ビジネスチームはリアルタイムかつセルフサービスでの活用を期待しています。バッチ処理と静的レポート向けに構築された従来型のサイロ化されたアナリティクスシステムでは、今日の企業が求めるスピードとスケールに対応できません。

Dataiku – The Universal AI Platform™ とData Intelligence Platformは、現代のアナリティクスのあり方を再定義します。Dataikuは、アナリティクスやAI（生成AIやAIエージェントを含む）を設計、自動化、監視できる、協働かつガバナンスの効いたワークスペースを提供します。DatabricksはData Intelligence Platformを通じて、データとAIへのアクセスの民主化を実現します。

両者を組み合わせることで、データをセキュアな環境から移動させることなく、DataikuでAIや分析を設計および統合し、Databricksで実行するという、統合型のデータ＆AIエコシステムが実現します。これにより、アナリティクスは断片的なプロセスから、ダッシュボードからAIエージェントに至るまでを継続的にガバナンスされた運用へと進化します。

拡張性のある統一基盤

DataikuとDatabricksの統合は、スケーラビリティー、柔軟性、信頼性を備えた設計となっています。ネイティブなDelta Lake接続およびプッシュダウンコンピュートにより、チームはDataiku上でビジュアルまたはコードベースのワークフローをオーケストレーションしながら、Databricks上で大規模なデータセットを直接処理できます。計算処理はデータの所在場所で実行されるため、データの重複を排除し、リスクを最小化します。

DatabricksのUnity Catalogは、データおよびモデルに対する権限管理、リネージュ、監査を一元化します。Dataiku Governは、構造化された承認フロー、エンドツーエンドのリネージュ、プロジェクト全体にわたるドキュメント化機能を追加します。両者を組み合わせることで、スケーラビリティーと説明責任を両立できます。

The Dataiku and Databricks integration feaqturing Databricks Cluster, Databricks Mosaic AI LLMs, Databricks Endpoints, Databricks Connect, and more!

このアーキテクチャーにより、企業は運用負荷を増やすことなくAI業務を拡張できます。IT部門には必要な可視性と管理機能を提供しつつ、業務チームやデータチームは承認されたガードレール内で自律的に作業できます。その結果、拡張性とガバナンスを兼ね備えたエンタープライズAIの運用が実現します。

ボトルネックのないコラボレーション

効果的なモダナイゼーションを実現するには、技術チームと業務部門のエキスパートの間で、障壁や依存関係のない連携が不可欠です。DataikuとDatabricksを使えば、そのようなコラボレーションがあらかじめ組み込まれています。

ビジネスアナリストは、信頼できるDatabricksデータを活用して、Dataiku上でビジュアルフローを作成します。データサイエンティストやエンジニアは、同じプロジェクトをDatabricksのNotebookやライブラリで拡張し、本番環境に展開します。ワークフロー、コード、データは両環境で相互運用可能なままとなり、作業のやり直しや変換の手間が不要になります。

しかし、これは従来の「コラボレーション」とは一線を画します。このパートナーシップの特長は、コラボレーションが実務に組み込まれている点にあります。業務チームが構築した資産は、自動的にDatabricksのクラスターにスケールされ、トレーニング、最適化、デプロイに活用されます。データサイエンティストは、同じガバナンスの効いたフレームワーク内でこれらの資産を改善および拡張し、再利用可能なコンポーネントとしてDataikuへ戻します。これにより、分析は依存関係のスピードではなく、ビジネスのスピードで進められる組織になります。

AIの運用を信頼性高く実現

実質的な成果は、信頼性とガバナンスが確保された運用基盤によってもたらされます。DataikuとDatabricksのパートナーシップは、AIライフサイクル全体（トレーニングからデプロイ、モニタリングまで）を管理するよう設計されています。

チームは、Databricks上で分散コンピューティングとMLflow（英語）を用いて大規模モデルを学習し、DataikuのExternal Models（英語）で一元管理します。モデルはバージョン管理され、Dataikuの自動化機能およびAPIを通じて、バッチまたはリアルタイムで再学習およびデプロイされます。パフォーマンス、ドリフト、コストは中央で監視され、承認フローはDataiku Governを通じて行われ、アクセス管理はUnity Catalogによって一貫性が保たれます。これにより、企業は統制を失うことなく、俊敏性を手に入れることができます。

生成AIとAIエージェントの台頭

生成AIとAIエージェントは、「アナリティクスを実行する」という概念を再定義しました。経営層はもはや単なるインサイトを求めるのではなく、安全に要約し、行動し、学習できる自律型システムを求めています。しかし、これらの機能をスケーリングするには、単にモデルにアクセスできるだけでは不十分であり、ガバナンス、透明性、そして非構造かつ大容量ワークロードに対応可能な計算能力が必要です。

Dataiku and Databricks make AI capabilities accessible to business teams helping deliver scalable analytics through quick and secure access to data and ML models in Databricks using the easy-to-use, visual interface of Dataiku.

Databricks Mosaic AIとDataikuのLLMメッシュを活用することで、企業はエンタープライズグレードの生成アプリケーションやAIエージェントを完全に制御しながら開発できます。チームは、検索拡張生成（RAG）パイプラインの構築、DatabricksのLLMへの接続、ガバナンスと監査性のあるワークフロー内での使用状況の監視が可能です。DataikuのLLMガードは、機密データの自動検出、ポリシーに基づくモデレーション、コスト上限の管理を自動的に実行します。企業データを基盤に構築されたあらゆる生成システムやAIエージェントが、安全性、説明可能性、コンプライアンス、コスト効率を備えていることに、リーダーは安心して取り組めます。

顧客事例：現代アナリティクスの実践

Emirates Global Aluminium（EGA）（英語）は、DataikuとDatabricksの連携により、信頼できるアナリティクスの民主化を実現している好例です。Dataikuの協働ワークフローとDatabricksのスケーラブルなレイクハウスを組み合わせることで、EGAはエンジニア、プロセス専門家、マネージャーに対し、日々の意思決定に必要な厳選されたデータへの安全なアクセスを提供しています。業務ユーザーはDataiku上でノーコードのフローを設計し、それをDatabricksのクラスター上で実行することで、製造、営業、サプライチェーン全体にわたる安全性、効率性、応答性を向上させています。

EGAでは、Databricks Mosaic AIと統合されたDataikuのLLMメッシュを通じて生成AIの導入を試験的に進めており、文書の要約や技術情報の検索において、自動のコストおよびコンプライアンス制御を実現しています。

モルガン・スタンレー・ウェルスマネジメント（英語）は、DatabricksとDataikuを活用し、アナリティクスと機械学習（ML）の統合プラットフォームを構築しました。数千人に及ぶ業務ユーザーが、Dataikuのローコード環境を活用してワークフローを自動化し、モデルを構築しています。一方、Databricksは非構造データ向けのGPUクラスターを含む分散コンピューティングを提供しています。

同社は、Dataiku Governによるドキュメントの自動化により、インサイト取得までの時間を50%短縮し、モデルの承認も迅速化されたと報告しています。Unity Catalogで管理されるロールベースおよび属性ベースのアクセス制御により、コンプライアンスを維持しつつスケーラビリティを実現しており、これは金融サービス業界における責任あるAIの模範といえます。

エンタープライズ対応のAI運用

AIプログラムは、アルゴリズムよりも運用面で失敗することが多いのです。DataikuとDatabricksによる統合AI基盤は、こうした実際の課題に対応します。

データの重みとコスト：トレーニングやパイプラインは、Databricks上のレイクハウスデータに対して実行され、Dataikuが複製なしでオーケストレーションするため、コピーの拡散やデータ露出を抑制します。
ライフサイクル管理：Unity CatalogとDataiku Governにより、データ、モデルバージョン、承認状況を一元的に可視化でき、監査は再構築ではなく迅速なレビューで済むようになります。
組織のリソース効率：Dataikuのビジュアル開発により、標準を損なうことなく参加の裾野を広げられ、Databricksのクラスターがオンデマンドの柔軟性を提供します。

この組み合わせにより、透明性が高く、コンプライアンスに準拠し、かつ迅速なAI運用が可能になります。

このパートナーシップが特別な理由

多くの技術パートナーシップは「受け渡し」にとどまりますが、この連携は共有された運用環境を構築します。インテリジェンスはDataikuで構築され、Databricksのスケールで実行され、両者をまたいでシームレスにガバナンスが適用されます。アナリティクス、MLモデル、生成AI、AIエージェントを横断する単一のリネージュ、権限モデル、承認ワークフローにより、リーダーはリスクを抑えながらイノベーションを加速でき、真にインテリジェントなアナリティクスの基盤が実現します。