アナリストはなぜコンテキスト・エンジニアになる必要があるのか？

最近、ダッシュボードを操作したり、メトリクスを構築したり、ビジネス関係者に「十分」とはどういうものかを説明したりすることに時間を費やしているなら、生成AIは命綱のように思えるかもしれません。プロンプトを入力すれば答えが返ってきます。ただし...その答えはしばしば外れていたり、浅かったり、明らかに間違っていたりします。そして突然、あなたは生成AIアシスタントに「ただ働く」ように仕向けるために、自分でインサイトを引き出すよりも多くの時間を費やすことになります。

今日、私たちがデータチーム全体で目にしていることがあります：生成AIシステム（英語）が失敗するのは、モデルが悪いからではありません。文脈が欠けているから失敗するのです。モデルは、今期の製品発売のことも、どのキャンペーンが実際に重要なのかも、実際のデータがあるスプレッドシートのことも知りません。

生成AIは単独でビジネスロジックを適用することはできません。アナリストは、生成AIが効果的に機能するために必要なコンテキストを追加しなくてはなりません。

アナリストの役割は静かに、しかし急速に進化している

もしあなたがデータアナリストなら、すでにコンテキストエンジニアリングに似たことをやっている可能性があります：

生成AIが正確に応答できるようにソースを統合
より良い生成AIの結果を得るために、プロンプトの実験と改良を行い、その結果を利害関係者が理解し信頼できる洞察に変換
AIがなぜ間違ったのかを同僚に説明
ループ内の人間の役割を果すため、本番前にアウトプットの正常性をチェック

それが正式な仕事内容であろうとなかろうと、あなたは生成AIと実際のビジネス成果の間の結合組織になりつつあります。その新たなスキルセットをコンテキストエンジニアリングと呼ぶ人もいます。生成AIシステムにデータ、ロジック、ビジネスのニュアンスを埋め込む作業です。

コンテキストエンジニアリングとは

コンテキストエンジニアリングは、現代のアナリストが価値を高める方法の中核となりつつあります。コンテキストエンジニアリングとは、生成AIシステムがビジネス環境で効果的に推論できるように、データ、ロジック、プロンプトを設計することです。巧みなプロンプトを作成するだけではありません。生成AIが実際のビジネスワークフローの中で効果的に機能するために必要な構造を与えることです。

これには以下が含まれます：

リアルタイムで構造化された入力の供給（パイプラインまたは検索を介して）
トーン、ポリシー、ドメイン固有のルールを埋め込む
生成AIが間違った場合のフォールバックロジックの設計
信頼できるシステム（ダッシュボード、アラート、社内アプリ）への生成AIの統合

要するに、システム思考、ビジネスロジック、データ流暢性の融合であり、これらはすべてアナリストがすでに十分に対応できる分野です。

アナリストからコンテキストエンジニアへ

このシフトはすでに多くの職務で起こっています。世界的な小売企業の商品オペレーションアナリストの場合はどうでしょうか。

以前は：配達遅延を追跡し、地域ごとの傾向を手作業でまとめます。

今は：あなたは以下のような生成AI対応のワークフローをサポートしています：

複数のシステムから配送データとクレームデータを収集
地域ごとの異常やパフォーマンスの傾向を浮き彫り
オペレーションマネジャーのために、考えられる根本原因を要約
最近のパターンに基づき、リスクの高いSKUにフラグを立てる
人間によるレビューのために更新案を作成し、最終的な推奨はアナリストの意見によって形成

あなたはアシスタントをゼロから構築したわけではありません。適切なインプットを選択し、サマリーの背後にあるロジックを定義し、アウトプットがビジネスと整合していることを確認します。あなたはソフトウェアエンジニアにはなりませんでした。しかし、あなたはコンテキストエンジニアの仕事を引き受け、チームのデータ、ルール、運用の現実に生成AIを定着させることで、生成AIが真の価値を提供する方法を作るのです。

なぜこのシフトが重要なのか、なぜ避けられないのか

生成AIの話題の多くはモデルに焦点を当てています。しかし実際には、成功を左右するのはコンテキストです。

強力なコンテキストエンジニアリングがなければ、しばしばアナリストによって推進され、チームは脆いプロンプトの回避策に依存し、重要なビジネス事実を幻視する生成AI出力を生み出し、信頼を損なうサイレントエラーを見逃してしまいます。

コンテキストエンジニアリングを導入することで、チームはビジネスロジックに基づいた信頼できるアウトプットを生み出す生成AIワークフローを構築し、拡張することができます。アナリストは反復をリードし、モデルの試行錯誤から、サイクルごとに改善するシステムへとシフトします。

アナリスト個人にとって、このシフトは成長のための真のチャンスです。生成AIが日常的なワークフローの一部になるにつれ、生成AIを導き、効果的に適用することを学んだ者が昇進することになります。コンテキストエンジニアリングのスキルを身につけることで、アナリストは常に最新の情報を入手し、影響力を高め、役割の次の段階へと成長することができます。

Dataikuがアナリストをコンテキストエンジニアにする方法

Dataikuでは、「コンテキストエンジニア」が次の大きな職種になるような世界を目指しているわけではありません。私たちは、データとビジネスをすでに理解しているアナリストが、自然にその役割を担う世界を目指しています。

Dataiku, The Universal AI Platform™は、以下のような進化を可能にします：

コンテクスチュアル生成AIインテグレーション：シンプルなビジュアルインターフェースを使用して、生成AIを適切なビジネスコンテキスト（信頼できるデータ、ドキュメント、ロジック）に接続します。コードを書かずにパイプラインにRAGのようなコンポーネントを構築します。
プロンプトスタジオ（英語）：視覚的に管理されたワークスペースで、構造化されたプロンプトをデザイン、バージョンアップ、テストします。
シナリオ（英語）：トリガーとアラートを使用して生成AIのワークフローを自動化し、リアルタイムで対応します。
ダッシュボード＆Webアプリ（英語）: 直感的でコンテキストに富んだインターフェイスを構築します。
Dataiku LLM メッシュ：異なるLLMプロバイダーに安全に接続し、ガバナンスと観測可能性を構築します。

設計上、これらの機能は、データとビジネスをすでに理解している人々（アナリスト）に生成AIの力を拡張します。

生成AIを使いこなすアナリストがそうでないアナリストを置き換える

プロンプトとコンテキストエンジニアリングは、現代のアナリストのツールキットの一部になりつつあります。アナリストはすでに、生成AIシステムがどのように振る舞い、どのようにビジネスデータに接続し、どのように有用で信頼できる回答を提供するかを形作る手助けをしています。このシフトは十分に進行中であり、アナリストがこれらのスキルを身につけるのをサポートするチームが、生成AIから最も大きな価値を生み出すことになります。

あなたがアナリストなら、メッセージはシンプルです：あなたの仕事は消滅するのではなく、進化しているのです。そして、仕事とともに進化を始めるベストなタイミングは今なのです。