GitHub Copilot×Azure AI Vision実践ガイド｜画像解析APIを連携してAIアプリを開発する方法

これまでの記事では、GitHub Copilotを使ったコード生成やリファクタリング、プログラミングの効率化について紹介してきました。

Copilotにコードを書いてもらうだけでも、開発スピードはかなり変わります。

でも、ここからもう一歩踏み込んでみると、さらに面白い世界が見えてきます。

それが、Azure AI ServicesとGitHub Copilotを組み合わせたAIアプリ開発です。

今回は、画像解析アプリを題材にして、Azure AI Visionを実際のアプリケーションから呼び出すイメージを整理していきます。

単純に「APIを呼び出して終わり」ではありません。

Azure AIにはどのようなサービスがあるのか？
GitHub Copilotとは何が違うのか？
Azure AI Visionを実務ではどのように使えるのか？

こうした疑問を一つずつ整理していきましょう。

Azure AI Servicesとは？AIアプリ開発に使えるクラウドサービス

まず押さえておきたいのが、Azure AI Servicesの位置づけです。

Azure AI Servicesは、AIを利用したアプリケーションを開発するためのクラウドサービス群です。

画像、音声、検索、自然言語処理など、目的に応じたさまざまなAI機能をAPIやSDKなどから利用できます。

つまり、自分でAIモデルを一から作らなくても、Microsoft Azureが提供するAI機能をアプリケーションへ組み込めるわけです。

これは開発者にとってかなり大きなメリットです。

例えば、画像から文字を読み取りたいとします。

昔なら、画像処理や機械学習について深く勉強し、自分でOCRの仕組みを構築する必要がありました。

しかしAzure Visionを利用すれば、画像をAPIへ渡して、AIに解析してもらうという構成を作れます。

Microsoftの公式ドキュメントでも、Azure Visionでは画像分析、OCR、画像のタグ付け、キャプション生成などの機能が提供されています。

Azure AIで利用できる代表的なサービス

Azure AIには、用途に応じてさまざまなサービスがあります。

Azure AI Search：キーワード検索、ベクトル検索、ハイブリッド検索などによる情報検索
Azure AI Vision：画像分析、OCR、物体検出など
Azure AI Speech：音声認識、音声合成、音声翻訳など
Azure AI Language：自然言語処理、文章分析など
Azure OpenAI：生成AIや大規模言語モデルを利用したアプリケーション開発
Azure AI Document Intelligence：帳票やドキュメントから情報を抽出

Microsoftの開発者向け資料でも、AI Search、Speech、OpenAI、Document IntelligenceなどがAIアプリケーション開発に利用できるサービスとして整理されています。

ここで重要なのは、「Azure AI」という一つのAIだけが存在するわけではないということです。

目的に合わせてAIサービスを選び、それらをAPIやSDKなどでアプリケーションにつないでいく。

これがAzureを使ったAIアプリ開発の基本的な考え方です。

Azure AI Searchとは？AIを使った検索機能を作る

まず、検索機能を作りたいときに活躍するのがAzure AI Searchです。

一般的なキーワード検索だけではなく、ベクトル検索やハイブリッド検索などにも対応しています。

例えば、社内に大量の資料が保存されているとします。

「営業部門の経費精算について書かれている資料を探して」と検索した場合、単純なキーワード一致だけでは十分な結果が得られないことがあります。

そこで、文章の意味や関連性を考慮した検索を組み合わせることで、より目的に近い情報を探しやすくできます。

AIを使った社内検索システムや、生成AIと組み合わせたRAG（検索拡張生成）などを考える場合にも重要になるサービスです。

Azure AI Visionとは？画像解析とOCRを実現するAIサービス

今回のテーマがAzure AI Visionです。

名前からも分かるように、画像をAIで解析するためのサービスです。

例えば、次のような処理が考えられます。

画像に写っている文字を読み取る
画像の内容を分析する
物体を検出する
人物を検出する
画像にタグを付ける
画像の内容を説明する

Azure VisionのImage Analysis 4.0では、テキスト認識、キャプション、タグ、物体検出、人物検出などの機能が提供されています。用途によって利用するAPIや機能を選択できます。

Azure AI VisionのOCRで画像から文字を読み取る

特に分かりやすいのがOCRです。

OCRとは、画像の中にある文字を読み取って、コンピューターで扱える文字データへ変換する技術です。

例えば、スマートフォンで撮影した看板の写真を考えてみてください。

人間なら写真を見れば文字を読めます。

しかし、プログラムにとって画像は基本的に「ピクセルの集まり」です。

そこでOCRを利用すると、画像の中にある文字を解析してテキストとして取り出せます。

Microsoftのドキュメントでは、Azure VisionのOCRによって印刷文字や手書き文字を抽出できることが説明されています。日本語にも対応しています。

この機能を利用すれば、例えば次のようなシステムを作れます。

領収書の文字を読み取る
名刺の情報をテキスト化する
ホワイトボードの内容をデジタル化する
商品のラベルを読み取る
画像内の文章を検索可能にする
写真に写った看板の文字を取得する

「画像を見て、人間が手入力する」という作業を減らせるのがOCRの大きな魅力です。

Azure AI Speechとは？音声をAIアプリに組み込む

画像ではなく、音声を扱いたい場合にはAzure AI Speechが活躍します。

例えば、音声をテキストに変換する音声認識があります。

逆に、文章を自然な音声として読み上げる音声合成も利用できます。

さらに音声翻訳など、音声を活用したアプリケーションを作るための機能も提供されています。

例えば、次のようなサービスが考えられます。

会議の議事録を自動作成する
音声入力アプリを作る
外国語の音声を翻訳する
文章をAIに読み上げてもらう
音声を使った問い合わせシステムを作る

画像ならVision、音声ならSpeech。

このように、やりたいことに合わせてAzure AIサービスを選択すると考えると理解しやすいでしょう。

GitHub CopilotとAzure AI Serviceの違い

ここで、一つ疑問が出てきます。

「GitHub CopilotもAIなのに、Azure AIとは何が違うの？」

これは最初に理解しておきたいポイントです。

簡単に表現すると、

Azure AIは「AI機能をアプリケーションに組み込むためのサービス」

そして、

GitHub Copilotは「開発者の仕事をAIで支援するためのサービス」

と考えると分かりやすいです。

Azure AI ServiceはAIアプリの「機能」を提供する

Azure AIを利用すると、自分が開発しているアプリケーションにAI機能を組み込めます。

例えば、画像解析アプリを作っているなら、Azure Visionに画像を送信して解析結果を受け取ります。

イメージとしては次のような流れです。

ユーザーが画像をアップロードする
アプリケーションが画像を受け取る
Azure AI Vision APIへ画像を送信する
Azure AI Visionが画像を解析する
OCRや画像分析の結果が返ってくる
アプリケーションが結果を画面に表示する

つまりAzure AIは、完成したアプリケーションの中で実際にAI処理を担当する存在です。

GitHub Copilotは開発者の「作業」を支援する

一方、GitHub Copilotは開発者側をサポートします。

例えばVS Codeなどの開発環境でコードを書いているときに、コードの続きを提案してくれたり、コードについて質問したりできます。

GitHub公式ドキュメントでも、Copilotにはコード補完、Copilot Chatなど、開発者のコーディングを支援する機能が用意されています。

さらに現在のGitHub Copilotは、単なるコード補完だけではありません。

タスクに応じてコード変更を支援するエージェント型の機能も提供されており、AIによる開発支援の範囲は広がっています。

つまり、

「Azure AIに仕事をしてもらうためのアプリを、GitHub Copilotに手伝ってもらいながら作る」

という組み合わせが可能になります。

GitHub Copilot×Azure AI Visionが面白い理由

ここまで整理すると、両者の関係がかなり見えてきます。

例えば「画像解析アプリを作りたい」とします。

普通なら、Azure Visionの仕様を確認し、APIの使い方を調べ、認証処理を書き、リクエストを作り、レスポンスを解析する必要があります。

もちろん、これらは開発者にとって必要な作業です。

しかし、初めてAzure AIを触るときは、APIの仕様を理解するだけでも意外と時間がかかります。

そんなときにGitHub Copilotが役立ちます。

例えば、

「Azure AI Visionを使って画像からOCRするサンプルコードを作成してください。APIキーとエンドポイントは環境変数から取得してください。」

のように具体的な条件を伝えれば、実装のたたき台を作ってもらうことができます。

ここで大切なのは、Copilotがすべてを自動的に正解してくれると考えないことです。

生成されたコードは、公式ドキュメントや利用しているAPIバージョンを確認しながらレビューする必要があります。

特にAzure AIはサービスやAPIのバージョンによって利用できる機能が異なる場合があります。

実際、Microsoftは現在のAzure Visionについて、画像OCRとドキュメント向けOCRで推奨されるサービスを分けています。PDFやOfficeファイルなどの文書を扱う場合は、Document IntelligenceのReadモデルが適したケースがあります。

Azure AI Visionを使った画像解析アプリの開発フロー

では、実際の開発現場をイメージしてみましょう。

例えば「画像をアップロードすると、画像内の文字を読み取って表示するWebアプリ」を作るとします。

最初にAzure側でVision関連のリソースを準備します。

その後、アプリケーションからAzure Visionへアクセスします。

ステップ1：Azure AI Visionのリソースを準備する

Azure上に必要なリソースを用意します。

アプリケーションから接続するためには、エンドポイントや認証情報などの設定が必要になります。

Microsoftのクイックスタートでも、Azure Visionリソースを作成した後、キーとエンドポイントを確認してアプリケーションから接続する流れが紹介されています。

ステップ2：アプリケーションから画像を送信する

次に、ユーザーがアップロードした画像をアプリケーションからAzure Visionへ送信します。

ここではREST APIを直接利用する方法や、各プログラミング言語向けのSDKを利用する方法があります。

Azure VisionにはC#、Python、Java、Node.jsなどのSDKが用意されています。 ([Microsoft Learn](https://learn.microsoft.com/en-us/azure/ai-services/computer-vision/?utm_source=chatgpt.com))

ステップ3：Azure AI Visionで画像を解析する

Azure Vision側で画像を解析します。

OCRを利用する場合は、画像に含まれている文字をAIが認識します。

そして、解析結果がアプリケーション側へ返されます。

画像の内容を分析する場合には、物体や人物など、指定した機能に応じた情報を取得できます。

ステップ4：解析結果をアプリに表示する

最後に、Azure Visionから返ってきた結果をユーザーへ表示します。

例えば、画像に「TOKYO」という文字が写っていたとします。

アプリケーションでは、

画像アップロード
        ↓
Azure AI Vision
        ↓
OCR解析
        ↓
「TOKYO」を取得
        ↓
画面に表示

という流れになります。

ここまで動けば、かなり「AIアプリを作っている」という実感が出てきます。

GitHub Copilotに任せると開発が楽になるポイント

このようなAPI連携では、GitHub Copilotを使うことで開発中の調査や実装を効率化できます。

特に便利なのが次のような作業です。

Azure SDKのコード例を作る
REST APIのリクエスト処理を書く
JSONレスポンスを解析するコードを作る
例外処理を追加する
環境変数を利用した認証処理を作る
既存コードをリファクタリングする
テストコードのたたき台を作る
API連携部分のコードを説明してもらう

例えば、APIから返ってきたJSONが複雑だった場合も、Copilotに「このレスポンスから文字列だけを抽出するコードを書いて」と依頼できます。

コードを書いている途中で手が止まったとき、すぐ隣に相談できるエンジニアがいるような感覚です。

ただし、最終的な設計判断やセキュリティ、エラー処理、コスト、API仕様の確認などは開発者自身が行うことが重要です。

Azure AIとGitHub Copilotを組み合わせる実務的なメリット

実務で考えると、この組み合わせにはかなり大きな可能性があります。

AI機能の実装スピードを上げられる

Azure AIにはすでに多くのAI機能が用意されています。

そしてGitHub Copilotを使えば、そのAPIを呼び出すためのコード作成を効率化できます。

そのため、

「AIモデルをゼロから作る」のではなく、「既存のAIサービスを組み合わせて価値のあるアプリを作る」

という開発スタイルを取りやすくなります。

プロトタイプを短時間で作りやすい

アイデアを思いついたら、まず小さなプロトタイプを作ってみる。

この開発スタイルとも相性が良いでしょう。

例えば、

画像をアップロードする
OCRで文字を読み取る
結果を画面に表示する

という最小構成からスタートできます。

そこから、データベースへ保存したり、Azure AI Searchで検索したり、生成AIで要約したりと機能を拡張していくことも考えられます。

Azure AI Visionの実務での活用例

画像解析というと、「写真を分析するだけ」と思ってしまうかもしれません。

しかし、実際にはかなり幅広い用途があります。

領収書や書類のデータ化

紙の書類や画像から文字を読み取り、データ化する用途です。

ただし、文書処理が中心の場合はAzure VisionのOCRだけでなく、Azure AI Document Intelligenceが適しているケースもあります。Microsoftも文書やPDFなどの処理にはDocument IntelligenceのReadモデルを案内しています。 ([Microsoft Learn]

商品画像の自動分類

ECサイトなどでは、大量の商品画像を人間が一枚ずつ確認して分類するのは大変です。

画像分析を使って、画像に写っている内容を判定したり、タグを付けたりすることで、商品データの整理を自動化できる可能性があります。

画像検索システム

Azure Visionで画像から情報を抽出し、その情報を検索用データとして保存する方法も考えられます。

さらにAzure AI Searchなどと組み合わせれば、画像から得られた情報を検索しやすくする構成も検討できます。

社内業務の自動化

「画像を確認して、文字を読み取り、Excelやデータベースへ入力する」という作業があるなら、AIによる自動化を検討する価値があります。

もちろん、業務によって精度や個人情報、セキュリティなどを確認する必要があります。

それでも、今まで人間が目視で行っていた作業をAIに任せられる可能性があるというだけで、開発アイデアは一気に広がります。

GitHub CopilotとAzure AIを使うときに注意したいこと

便利な組み合わせだからこそ、注意点もあります。

生成されたコードをそのまま使わない

GitHub Copilotが生成したコードは、必ず自分で確認しましょう。

特にAPIの仕様や認証方式、例外処理などは、公式ドキュメントとの照合が重要です。

APIキーをコードに直接書かない

これは特に重要です。

APIキーや接続情報をソースコードへ直接記述し、GitHubへコミットしてしまうのは避けましょう。

環境変数やAzure側の適切な認証・シークレット管理の仕組みを利用することが基本です。

APIのバージョンを確認する

Azure AIはサービスの更新が行われています。

古いブログ記事に書かれているAPIをそのまま使うのではなく、現在の公式ドキュメントを確認する習慣をつけましょう。

今回のOCRについても、Microsoftは旧バージョンのOCR APIについて新規開発では推奨しない旨を案内し、現在の用途に応じてAzure VisionのOCRやDocument Intelligenceを使い分けるよう説明しています。

GitHub Copilotは「AIを使うためのAI」ではなく「AIアプリを作るための相棒」

今回学習していて、個人的に面白いと感じたのがここです。

GitHub CopilotとAzure AIは、どちらもAIを利用しています。

しかし、役割はまったく同じではありません。

Azure AIは、アプリケーションにAIの能力を与えるためのサービス。

GitHub Copilotは、そのアプリケーションを開発するエンジニアを支援するサービス。

この2つを組み合わせることで、

「AIを使うアプリ」を「AIの支援を受けながら開発する」

という面白い開発スタイルが実現できます。

例えば今回の画像解析アプリなら、

GitHub Copilot → 開発を支援
Azure AI Vision → 画像を解析
Azure AI Search → 情報を検索
Azure AI Speech → 音声を処理

というように、それぞれのAIに得意分野があります。

まとめ｜GitHub Copilot×Azure AIでAIアプリ開発を一段深く学ぶ

今回は、GitHub CopilotとAzure AI Servicesの関係を整理しながら、Azure AI Visionを利用した画像解析アプリの開発イメージを見てきました。

最後にポイントをまとめておきます。

Azure AI ServicesはAI機能をアプリケーションへ組み込むためのクラウドサービス群
Azure AI Visionは画像分析やOCRなどに利用できる
Azure AI Searchはキーワード検索、ベクトル検索、ハイブリッド検索などに利用できる
Azure AI Speechは音声認識や音声合成などに利用できる
GitHub Copilotはコード生成や質問、開発作業などを支援する
Azure AIとGitHub Copilotは競合するものではなく、役割が異なる
Copilotを活用することでAzure AI APIを使ったアプリ開発を効率化できる
生成されたコードは必ずレビューし、公式ドキュメントでAPI仕様を確認する
APIキーなどの認証情報をソースコードへ直接記述しない

これまでGitHub Copilotを「コードを書いてくれるAI」として使っていた人は、ここから少し視点を変えてみると面白いと思います。

Copilotにコードを書いてもらうだけではなく、Azure AIなどのクラウドサービスを組み合わせて、実際に動くAIアプリを作ってみる。

すると、AIに対する理解が「便利なチャットツール」から「システムを構成する技術」へ変わってきます。

画像を解析する。

音声を文字にする。

大量のデータを検索する。

文章を生成する。

そして、それらを一つのアプリケーションにつなげていく。

こうして考えると、AIアプリ開発はかなりワクワクします。

次にAzure AIを触るときは、ぜひ「このAI機能を自分のアプリに組み込んだら何ができるだろう？」という視点で試してみてください。

GitHub Copilotを開発の相棒にしながら、Azure AIのAPIを一つずつ触っていく。

そんな実践型の学習を続けることで、AIを「使う側」から「AIを組み込んだサービスを作る側」へ、一歩ずつ近づいていけるはずです。

※Azure AIのサービス名、API、推奨されるOCR機能などは更新される場合があります。実際に開発する際は、Microsoft Learnの最新ドキュメントを確認してください。

GitHub Copilot×Azure AI Vision入門｜画像解析APIを使ったAIアプリ開発を実践