More Related Content
What's hot
What's hot (20)
Similar to Azure Machine Learning の使い方 (全体を理解するための入門編)
Similar to Azure Machine Learning の使い方 (全体を理解するための入門編) (20)
Azure Machine Learning の使い方 (全体を理解するための入門編)
- 9. コンピューティングクラスター モデルの学習や推論に利用 自動スケーリングの際のmaxnodeやインスタンスサイズ、VNETを指定可能 クラスターはAMLStudioもしくはSDKから作成が可能 pythonSDKから作成する例 from azureml.core.compute import ComputeTarget, AmlCompute from azureml.core.compute_target import ComputeTargetException # Specify the configuration for the new cluster compute_config = AmlCompute.provisioning_configuration(vm_size="STANDARD_D2_V3", min_nodes=0, max_nodes=4, vnet_resourcegroup_name=vnet_resourcegroup_name, vnet_name=vnet_name, subnet_name=subnet_name) # Create the cluster with the specified name and configuration cpu_cluster = ComputeTarget.create(ws, cpu_cluster_name, compute_config) 9
- 14. AzureBlobStorageをデータストアとして登録する例 from azureml.core.datastore import Datastore batchscore_blob = Datastore.register_azure_blob_container(ws, datastore_name="images_datastore", container_name="sampledata", account_name="pipelinedata", overwrite=True) def_data_store = ws.get_default_datastore() 14
- 17. 環境を作成する例 from azureml.core import Environment from azureml.core.conda_dependencies import CondaDependencies from azureml.core.runconfig import DEFAULT_GPU_IMAGE # イメージにはない python package の追加 cd = CondaDependencies.create(pip_packages=["tensorflow-gpu==1.15.2", "azureml-core", "azureml-dataset-runtime[fuse]"]) env = Environment(name="parallelenv") env.python.conda_dependencies=cd env.docker.base_image = DEFAULT_GPU_IMAGE # 利用するコンテナイメージ 上記では、モデル実行に使用するcontainerimage、condapackage(pythonlibrary)を指定 しています。 17
- 18. 実験 実験は、モデル実行のグループです。実験は、常に1つのワークスペースに属します。実行 を送信するときは、実験名を指定します。実行に関する情報は、その実験に格納されます。 実験を送信するときに名前が存在しない場合は、新しい実験が自動的に作成されます。 実験の作成例 from azureml.core import Experiment experiment = Experiment(workspace=ws, name="diabetes-experiment") 参考:https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-azure-machine- learning-architecture#experiments 18
- 19. 機械学習における実験管理の概念 様々な条件を変えて実験を行い、モデルの性能を計測します。 参考:WhatisautomatedML?AutoML-AzureMachineLearning 19
- 24. パイプラインのサブタスクを作成する例 step02 = PythonScriptStep(name="step02", script_name="./src/step02.py", arguments=["--storage", dr_storage, "--date", str_date], inputs=[dr_storage], compute_target=aml_compute, source_directory=source_directory, runconfig=run_config_model, allow_reuse=False) 24
- 25. 順次的に実行するようにパイプラインを構築する例 step02.run_after(step01) step03.run_after(step02) steps = [step03] pipeline1 = Pipeline(workspace=ws, steps=steps) 並列に実行する場合 steps = [step01, step02, step03] pipeline1 = Pipeline(workspace=ws, steps=steps) 25
- 28. Webサービスエンドポイント HTTP要求を送信して推論結果を得ることができる import requests # send a random row from the test set to score random_index = np.random.randint(0, len(X_test)-1) input_data = "{"data": [" + str(list(X_test[random_index])) + "]}" headers = {'Content-Type': 'application/json'} # for AKS deployment you'd need to the service key in the header as well # api_key = service.get_key() # headers = {'Content-Type':'application/json', 'Authorization':('Bearer '+ api_key)} resp = requests.post(service.scoring_uri, input_data, headers=headers) print("POST to url", service.scoring_uri) #print("input data:", input_data) print("label:", y_test[random_index]) print("prediction:", resp.text) 参考:イメージの分類チュートリアル:モデルをデプロイする-AzureMachineLearning 28