Added first version of CPU overprovisioning model. Seems to work. Tests are WIP.
[osm/vim-emu.git] / src / emuvim / dcemulator / resourcemodel / upb / simple.py
index 425d959..08b3cf3 100644 (file)
@@ -35,7 +35,11 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
         self.dc_alloc_mu = 0
         self.deactivate_cpu_limit = deactivate_cpu_limit
         self.deactivate_mem_limit = deactivate_mem_limit
-        super(self.__class__, self).__init__()
+        self.single_cu = 0
+        self.single_mu = 0
+        self.raise_no_cpu_resources_left = True
+        self.raise_no_mem_resources_left = True
+        super(UpbSimpleCloudDcRM, self).__init__()
 
     def allocate(self, d):
         """
@@ -59,7 +63,7 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
         """
         fl_cu = self._get_flavor(d).get("compute")
         # check for over provisioning
-        if self.dc_alloc_cu + fl_cu > self.dc_max_cu:
+        if self.dc_alloc_cu + fl_cu > self.dc_max_cu and self.raise_no_cpu_resources_left:
             raise Exception("Not enough compute resources left.")
         self.dc_alloc_cu += fl_cu
 
@@ -71,7 +75,7 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
         """
         fl_mu = self._get_flavor(d).get("memory")
         # check for over provisioning
-        if self.dc_alloc_mu + fl_mu > self.dc_max_mu:
+        if self.dc_alloc_mu + fl_mu > self.dc_max_mu and self.raise_no_mem_resources_left:
             raise Exception("Not enough memory resources left.")
         self.dc_alloc_mu += fl_mu
 
@@ -108,7 +112,7 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
         """
         Recalculate real resource limits for all allocated containers and apply them
         to their cgroups.
-        We have to recalculate for all to allow e.g. overprovisioning models.
+        We have to recalculate for all containers to allow e.g. over provisioning models.
         :return:
         """
         for d in self._allocated_compute_instances.itervalues():
@@ -124,10 +128,8 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
         :return:
         """
         number_cu = self._get_flavor(d).get("compute")
-        # get cpu time fraction for entire emulation
-        e_cpu = self.registrar.e_cpu
         # calculate cpu time fraction of a single compute unit
-        single_cu = float(e_cpu) / sum([rm.dc_max_cu for rm in list(self.registrar.resource_models)])
+        self.single_cu = self._compute_single_cu()
         # calculate cpu time fraction for container with given flavor
         cpu_time_percentage = self.single_cu * number_cu
         # calculate input values for CFS scheduler bandwidth limitation
@@ -138,6 +140,16 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
                       d.name, cpu_period, cpu_time_percentage, cpu_quota))
             d.updateCpuLimit(cpu_period=int(cpu_period), cpu_quota=int(cpu_quota))
 
+    def _compute_single_cu(self):
+        """
+        Calculate percentage of CPU time of a singe CU unit.
+        :return:
+        """
+        # get cpu time fraction for entire emulation
+        e_cpu = self.registrar.e_cpu
+        # calculate
+        return float(e_cpu) / sum([rm.dc_max_cu for rm in list(self.registrar.resource_models)])
+
     def _calculate_cpu_cfs_values(self, cpu_time_percentage):
         """
         Calculate cpu period and quota for CFS
@@ -164,7 +176,7 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
         # get memory amount for entire emulation
         e_mem = self.registrar.e_mem
         # calculate amount of memory for a single mu
-        single_mu = float(e_mem) / sum([rm.dc_max_mu for rm in list(self.registrar.resource_models)])
+        self.single_mu = float(e_mem) / sum([rm.dc_max_mu for rm in list(self.registrar.resource_models)])
         # calculate mem for given flavor
         mem_limit = self.single_mu * number_mu
         mem_limit = self._calculate_mem_limit_value(mem_limit)
@@ -210,6 +222,8 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
         r["dc_max_mu"] = self.dc_max_mu
         r["dc_alloc_cu"] = self.dc_alloc_cu
         r["dc_alloc_mu"] = self.dc_alloc_mu
+        r["single_cu_percentage"] = self.single_cu
+        r["single_mu_percentage"] = self.single_mu
         r["allocation_state"] = allocation_state
         return r
 
@@ -243,3 +257,31 @@ class UpbSimpleCloudDcRM(BaseResourceModel):
         # append to logfile
         with open(path, "a") as f:
             f.write("%s\n" % json.dumps(l))
+
+
+class UpbOverprovisioningCloudDcRM(UpbSimpleCloudDcRM):
+    """
+    This will be an example resource model that limits the overall
+    resources that can be deployed per data center.
+    Allows over provisioning. Might result in reducing resources of single
+    containers whenever a data-center is over provisioned.
+    """
+    def __init__(self, *args, **kvargs):
+        super(UpbOverprovisioningCloudDcRM, self).__init__(*args, **kvargs)
+        self.raise_no_cpu_resources_left = False
+
+    def _compute_single_cu(self):
+        """
+        Calculate percentage of CPU time of a singe CU unit.
+        Take scale-down facte for over provisioning into account.
+        :return:
+        """
+        # get cpu time fraction for entire emulation
+        e_cpu = self.registrar.e_cpu
+        # calculate over provisioning scale factor
+        self.op_factor = float(self.dc_max_cu) / (max(self.dc_max_cu, self.dc_alloc_cu))
+        LOG.info("========== op_factor=%r ===========" % self.op_factor)
+        # calculate
+        return float(e_cpu) / sum([rm.dc_max_cu for rm in list(self.registrar.resource_models)]) * self.op_factor
+
+    # TODO log op_factor