Agile育成ブログ
未来を変える喜びを
未分類

Zoom-SDK

 

azure Speech Serviceでテキスト化したものをAzure OpenAI自然言語処理（NLP）で解析し、Azure Logic Appsで通知を送る

1. ナレッジの整理と準備

目的

  • 営業マンが必要とする情報（適切なアドバイスや回答）を明確にする。
  • 会社独自のナレッジ（内部資料やFAQ）をテキスト化する。

タスク

  • 営業トークスクリプト、不動産物件情報、顧客対応マニュアルを収集。
  • PDFやWordファイルなどをテキストデータに変換。
  • 不動産関連の一般的な知識と会社特有の知識を分類。

2. テキストデータの収集・前処理

目的

  • モデルが効率よく学習・回答できるよう、データを整理する。

前処理手順

  1. データ形式の統一:
    • テキストファイル、CSVなどの一貫性を保つ形式に変換。
  2. 不要な情報の削除:
    • スペルミス、重複データ、無意味な記号を除去。
  3. 構造化データの作成:
    • 以下のようにQAペアや命令データの形に変換。jsonコードをコピーする{ "prompt": "住宅ローン控除の条件は？", "completion": "住宅ローン控除の条件は以下の通りです: 年収500万円以下、購入金額5000万円以下..." }
  4. トークン制限の確認:
    • Azure OpenAI GPTモデルはトークン数の制限があるため、プロンプトと回答の長さを適切に制御。

3. Azure OpenAI Serviceのセットアップ

目的

AzureのGPTモデルを活用できる環境を構築する。

手順

  1. Azureポータルにサインイン:
    • Azureアカウントを作成（未登録の場合）。
  2. Azure OpenAIリソースの作成:
    • Azure Portalで「Azure OpenAI」を検索。
    • 新しいリソースを作成し、適切なリージョンを選択。
  3. モデルのデプロイ:
    • 使用するGPTモデル（例: GPT-3.5、GPT-4）を選択してデプロイ。
  4. エンドポイントとキーを取得:
    • Azure Portalのリソースページから、エンドポイントURLとAPIキーを確認。

4. ナレッジベースのカスタマイズ

目的

カスタムナレッジをモデルが簡単に参照できるようにする。

手法

text-embedding-ada-002モデル
text-embedding-ada-002は、OpenAIが開発した最新の埋め込みモデルであり、テキスト検索、コード検索、文の類似性タスクにおいて優れた性能を発揮します。

  • Embedding（埋め込みベクトル）: ナレッジをベクトル化して検索可能にする。
  1. テキストをベクトルに変換:
    • Azure OpenAIのtext-embedding-ada-002モデルを使用して、テキストを数値化。
    • Pythonコード例:pythonコードをコピーするimport openai openai.api_key = "YOUR_API_KEY" response = openai.Embedding.create( input=["住宅ローン控除について教えて"], model="text-embedding-ada-002" ) print(response['data'][0]['embedding'])
  2. ベクトルデータの保存:
    • ベクトルをデータベース（例: Pinecone、Weaviate）またはローカルストレージに保存。
  3. 検索システムの構築:
    • 営業マンの質問をベクトル化し、保存済みのナレッジベースと類似度検索。

5. モデルの微調整（ファインチューニング）

目的

会社独自のナレッジをモデルに統合する。

手順

  1. トレーニングデータの作成:
    • プロンプトと回答をペアにしたJSONL形式を準備。jsonコードをコピーする{"prompt": "住宅ローンの審査基準は？", "completion": "住宅ローンの審査基準は、年収、勤続年数、借入額が含まれます。"}
  2. データをアップロード:
    • Azure CLIまたはPython SDKを使用してデータをアップロード。
  3. 微調整の実行:
    • Azure OpenAI APIを使ってカスタムモデルを作成。
    • 微調整後のモデルをデプロイ。

6. APIの構築と統合

目的

営業マンが利用できる形でサービスを提供する。

手順

  1. Webまたはアプリとの統合:
    • 営業マンが使用するツールにAPIを組み込み、リアルタイムで回答を提供。
  2. API設計:
    • RESTful APIを設計し、Azure FunctionsやFlaskなどで実装。

7. 運用後の改善と評価

目的

システムの精度とユーザー体験を継続的に向上させる。

手順

  1. ユーザーフィードバックの収集:
    • 提供した回答が適切だったかを評価するUIを用意。
  2. モデルの再学習:
    • 新しいデータを定期的に収集し、モデルを更新。
  3. 性能モニタリング:
    • Azure Monitorを利用してAPIの稼働状況を監視。

補足：機密性の確保

  1. データの暗号化:
    • ナレッジベースのデータやトラフィックはすべて暗号化。
  2. アクセス制御:
    • APIキーの管理、Azure Role-Based Access Control (RBAC)を使用。
  3. コンプライアンス:
    • AzureはGDPRやISO 27001など主要な規制に準拠しているため、安心して利用可能。

ネットワークの設定

ネットワークの制限とセキュリティ向上:

  • Zoomアプリが利用するAPIやバックエンドサービスを、社内ネットワーク内や特定のAzureリソース（例: プライベートエンドポイント）からのみアクセス可能に制限できます。
  • Zoom SDKを活用したカスタムアプリを運用する場合に特に有効で、社内環境からのアクセスを安全に管理可能。

2. Zoom SDKを使用したカスタムアプリの運用

  • Zoom SDKを利用してカスタムアプリを構築し、Azure上で運用する場合、関連サービスを VNet内で閉じた環境で構築 することでセキュリティを向上可能。
    • 例: Zoom API経由でデータを処理するバックエンドをAzure FunctionsやVM上で動作させる。
    • これを Azure Private Endpoint で接続すると、インターネットを経由せずに安全な通信が可能。
RELATED POST