Skip to content

Azure Bing APIで画像を取得する

Posted in ノート

Last updated on 2022年8月9日

こんにちは、エピックです。

AIのモデル学習に必要となる画像の収集方法のうち、Bingから画像を取得する方法を試してみたので紹介したいと思います。


Azureを使っていくのでコストには注意です。


事前準備 APIの有効化

Bing API の利用には、Microsoftアカウントの作成および Azureポータル上からの Bing Search APIs の有効化が必要となります。

クレジットカードの登録が必要となるため注意してください。

また、後出しですがAPIを叩くたびに請求が発生します。

登録手順は下記を参考にしてみてください


コードを書く

実行コードは python となります。

import os
import math
import requests
import urllib.parse
from urllib import parse


def make_directory(path):
    if not os.path.exists(path):
        os.mkdir(path)


def create_image_path(path, search_word, url, serial_number_of_iamges):
    serial_number_of_iamges += 1
    file_extention = os.path.splitext(url)[-1]
    if file_extention.lower() in (".jpg", ".jpeg", ".png"):
        path_of_image = os.path.join(
            path, str(serial_number_of_iamges) + "_" + search_word + file_extention)
        return path_of_image
    else:
        raise ValueError("Not Applicable file extension")


def search_image(params, api_key):
    bing_image_search_endpoint = "https://api.cognitive.microsoft.com/bing/v7.0/images/search"
    headers = {"Ocp-Apim-Subscription-Key": api_key}
    response = requests.get(bing_image_search_endpoint,
                            headers=headers,
                            params=params)
    response.raise_for_status()
    return response


def creat_image_url_list_per_search_word(search_word, api_key, need_image_num, get_image_count=30):

    offset_count = math.floor(need_image_num / get_image_count)

    image_url_list_per_search_word = []

    for offset in range(offset_count):

        # count:1トランザクションで取得する画像数
        # offset:スキップする結果の数
        params = urllib.parse.urlencode({'q': search_word, 'count': get_image_count,
                                         'offset': offset*get_image_count})
        try:
            res = search_image(params=params, api_key=api_key)
            response_json = res.json()
        except Exception as err:
            print("例外args:", err.args)
        else:
            for values in response_json['value']:
                image_url_list_per_search_word.append(
                    parse.unquote(values["contentUrl"]))

    return image_url_list_per_search_word


def get_image_binary_from_url(_image_url):
    response_from_image_url = requests.get(_image_url, timeout=10)

    if response_from_image_url.status_code != 200:
        error = Exception("HTTP status code: " +
                          str(response_from_image_url.status_code))
        raise error
    content_type = response_from_image_url.headers['content-type']
    if "image" not in content_type:
        error = Exception("Content-Type: " + content_type)
        raise error

    return response_from_image_url.content


def save_image(file_path, image):
    with open(file_path, "wb") as f:
        f.write(image)


if __name__ == "__main__":
    make_directory("data")

    """
    Before execute, you need to export apikey
    Ex.
    export AZURE_BING_SEARCH_API_KEY=your_key
    """
    BING_API_KEY = os.getenv("AZURE_BING_SEARCH_API_KEY")

    # 取得したい画像のワード ex. ザク
    SEARCH_WORD = "ザク"
    SAVE_IMAGE_DIR = os.path.abspath("data")

    # 必要な画像枚数 Min: 30
    GET_IMAGE_NUMBER = 30

    # 取得画像のプリフェックス
    serial_number_of_iamges = 0

    save_directory = os.path.join(SAVE_IMAGE_DIR, SEARCH_WORD)
    make_directory(save_directory)

    image_url_list = creat_image_url_list_per_search_word(
        SEARCH_WORD, BING_API_KEY, GET_IMAGE_NUMBER)

    for image_url in image_url_list:  
        try:
            image_content = get_image_binary_from_url(image_url)
            full_path_to_image = create_image_path(
                save_directory, SEARCH_WORD, image_url, serial_number_of_iamges)
            save_image(file_path=full_path_to_image,
                       image=image_content)
            print("Saved image file: ", full_path_to_image)
            serial_number_of_iamges += 1
        except KeyboardInterrupt:
            break
        except Exception as err:
            print(err)

    print("Success!")

コードの解説はしませんが、もし疑問点があればコメントにてお願いします。

実行の際ですが、APIキーの環境変数への設定を事前に行ってください。

例えば、Macの環境であれば下記をターミナル上へ入力します。

export AZURE_BING_SEARCH_API_KEY=<your_key>

最後に

今回は、BIngのAPIを利用してみました。
コードについては、少し勉強が必要でしたがリファレンスが丁寧であったのでとくに苦労せず作成することができました。
画像の取得をするようになって思うのは、最近はどこもクローリングができませんね。その点で、多少の金額は発生しますが画像を取得することができるBingの存在はありがたいです。

最後までお読みいただきありがとうございました。

コード上や実行上で不明点等あればコメントいただければと思います。

では。

Be First to Comment

コメントを残す

メールアドレスが公開されることはありません。