了解EMR自动缩放

如何解决了解EMR自动缩放

我有以下代码，工作正常：

def emr_client():
    config = get_aws_config()
    return boto3.client(
        'emr',region_name=config['aws_region'],aws_access_key_id=config['aws_access_key_id'],aws_secret_access_key=config['aws_secret_access_key']
    )


response = emr_client().run_job_flow(
        Name=cluster_name,ReleaseLabel="**********",Instances={
            'InstanceGroups': build_instance_groups_config(num_core_nodes,num_task_nodes,spots,instance_type='r4.4xlarge'),'Ec2KeyName': '**********','KeepJobFlowAliveWhenNoSteps': True,'TerminationProtected': False,'EmrManagedMasterSecurityGroup': '**********','EmrManagedSlaveSecurityGroup': '**********','Ec2SubnetId': '**********',},VisibleToAllUsers=True,JobFlowRole='EMR_EC2_DefaultRole',ServiceRole='EMR_DefaultRole',Applications=[
            {'Name': 'Hadoop'},{'Name': 'Spark'},{'Name': 'Ganglia'},{'Name': 'Zeppelin'}
        ],Tags=tags,Configurations=[
            {
                "Classification": "yarn-site","Properties": {"yarn.nodemanager.vmem-check-enabled": "false"}
            }
        ]
    )

现在，我想稍作更改，以便使用自动缩放。以下是相关文档：RunJobFlow

我看到有一个叫做"AutoScalingRole": "string"的东西，还有"AutoScalingPolicy"这是一个很大的对象，但是我没有看到任何显示如何填充它的示例，也没有找到在Google上也可以。

有人可以给我举个例子吗？
此外，在进行更改后，如何检查自动缩放功能是否确实有效？

解决方法

我认为您正在寻找针对EMR的自定义自动缩放策略。您可以找到详细的文档here。

您首先需要创建IAM角色或使用EMR_AutoScaling_DefaultRole默认规则进行自动缩放。您需要将其放入AutoScalingRole 您可以按照文档中的以下说明创建自动缩放的policy和rules。

如果要创建集群，请在Amazon EMR控制台中选择Create Cluster，选择Go to Advanced options，为Step 1：Software and Steps选择选项，然后转到Step 2：Hardware Configuration。或-如果要修改正在运行的群集中的实例组，请从群集列表中选择您的群集，然后展开“硬件”部分。
在“群集扩展”部分中，选择“启用群集销售”。然后选择创建自定义自动缩放策略。在“自定义自动缩放策略”表中，单击要配置的实例组行中出现的铅笔图标。将打开“自动缩放规则”屏幕。
键入扩展后的实例组要包含的Maximum实例，并键入扩展后的实例组要包含的Minimum实例。
单击铅笔以编辑规则参数，单击X从策略中删除规则，然后单击“添加规则”以添加其他规则。
选择规则参数，如本主题前面所述。有关Amazon EMR的可用CloudWatch指标的说明，请参阅Amazon CloudWatch用户指南中的Amazon EMR指标和维度。

在下面的示例中，我们在文档中将一些重要指标定义为

“最大实例数”约束指定最大的Amazon数量可以在实例组中并适用于所有实例的EC2实例横向扩展规则。同样，最小实例约束指定 Amazon EC2实例的最小数量，并适用于所有扩展规则。

Name是您之前创建的规则的名称。 scaling_adjustment是要添加/终止的EC2实例的数量。 Cool down period是应用下一个规则/活动之前需要通过的时间阈值。

"InstanceGroups": [ 
     { 
        "AutoScalingPolicy": { 
           "Constraints": { 
              "MaxCapacity": number,"MinCapacity": number
           },"Rules": [ 
              { 
                 "Action": { 
                    "Market": "string","SimpleScalingPolicyConfiguration": { 
                       "AdjustmentType": "string","CoolDown": number,"ScalingAdjustment": number
                    }
                 },"Description": "string","Name": "string","Trigger": { 
                    "CloudWatchAlarmDefinition": { 
                       "ComparisonOperator": "string","Dimensions": [ 
                          { 
                             "Key": "string","Value": "string"
                          }
                       ],"EvaluationPeriods": number,"MetricName": "string","Namespace": "string","Period": number,"Statistic": "string","Threshold": number,"Unit": "string"
                    }
                 }
              }
           ]
        },"BidPrice": "string","Configurations": [ 
           { 
              "Classification": "string","Configurations": [ 
                 "Configuration"
              ],"Properties": { 
                 "string" : "string" 
              }
           }
        ],"EbsConfiguration": { 
           "EbsBlockDeviceConfigs": [ 
              { 
                 "VolumeSpecification": { 
                    "Iops": number,"SizeInGB": number,"VolumeType": "string"
                 },"VolumesPerInstance": number
              }
           ],"EbsOptimized": boolean
        },"InstanceCount": number,"InstanceRole": "string","InstanceType": "string","Market": "string","Name": "string"
     }
  ],

如何解决了解EMR自动缩放

解决方法

相关推荐