fix 1201: for a KDU with configuration, wait for KDU up instead of deployed at RO
[osm/LCM.git] / osm_lcm / ROclient.py
index 4d5600b..cf11490 100644 (file)
@@ -117,9 +117,9 @@ class ROClient:
     timeout_large = 120
     timeout_short = 30
 
-    def __init__(self, loop, endpoint_url, **kwargs):
+    def __init__(self, loop, uri, **kwargs):
         self.loop = loop
-        self.endpoint_url = endpoint_url
+        self.uri = uri
 
         self.username = kwargs.get("username")
         self.password = kwargs.get("password")
@@ -127,7 +127,7 @@ class ROClient:
         self.tenant = None
         self.datacenter_id_name = kwargs.get("datacenter")
         self.datacenter = None
-        logger_name = kwargs.get('logger_name', 'ROClient')
+        logger_name = kwargs.get('logger_name', 'lcm.ro')
         self.logger = logging.getLogger(logger_name)
         if kwargs.get("loglevel"):
             self.logger.setLevel(kwargs["loglevel"])
@@ -143,11 +143,11 @@ class ROClient:
             return self.username
         elif index == 'password':
             return self.password
-        elif index == 'endpoint_url':
-            return self.endpoint_url
+        elif index == 'uri':
+            return self.uri
         else:
             raise KeyError("Invalid key '{}'".format(index))
-        
+
     def __setitem__(self, index, value):
         if index == 'tenant':
             self.tenant_id_name = value
@@ -157,14 +157,15 @@ class ROClient:
             self.username = value
         elif index == 'password':
             self.password = value
-        elif index == 'endpoint_url':
-            self.endpoint_url = value
+        elif index == 'uri':
+            self.uri = value
         else:
             raise KeyError("Invalid key '{}'".format(index))
         self.tenant = None      # force to reload tenant with different credentials
         self.datacenter = None  # force to reload datacenter with different credentials
 
-    def _parse(self, descriptor, descriptor_format, response=False):
+    @staticmethod
+    def _parse(descriptor, descriptor_format, response=False):
         if descriptor_format and descriptor_format != "json" and descriptor_format != "yaml":
             raise ROClientException("'descriptor_format' must be a 'json' or 'yaml' text")
         if descriptor_format != "json":
@@ -186,8 +187,18 @@ class ROClient:
         if response:
             raise ROClientException(error_text)
         raise ROClientException(error_text)
-    
-    def _parse_yaml(self, descriptor, response=False):
+
+    @staticmethod
+    def _parse_error_yaml(descriptor):
+        json_error = None
+        try:
+            json_error = yaml.load(descriptor, Loader=yaml.Loader)
+            return json_error["error"]["description"]
+        except Exception:
+            return str(json_error or descriptor)
+
+    @staticmethod
+    def _parse_yaml(descriptor, response=False):
         try:
             return yaml.load(descriptor, Loader=yaml.Loader)
         except yaml.YAMLError as exc:
@@ -287,14 +298,14 @@ class ROClient:
         def _get_ref(desc):
             # return an identification for the network or vm. Try vim_id if exist, if not descriptor id for net
             if desc.get("vim_net_id"):
-                return "'vim-id={}'".format(desc["vim_net_id"])
+                return "'vim-net-id={}'".format(desc["vim_net_id"])
             elif desc.get("ns_net_osm_id"):
                 return "'nsd-vld-id={}'".format(desc["ns_net_osm_id"])
             elif desc.get("vnf_net_osm_id"):
                 return "'vnfd-vld-id={}'".format(desc["vnf_net_osm_id"])
             # for VM
             elif desc.get("vim_vm_id"):
-                return "'vim-id={}'".format(desc["vim_vm_id"])
+                return "'vim-vm-id={}'".format(desc["vim_vm_id"])
             elif desc.get("vdu_osm_id"):
                 return "'vnfd-vdu-id={}'".format(desc["vdu_osm_id"])
             else:
@@ -311,15 +322,15 @@ class ROClient:
             total["networks"] = len(ns_descriptor["nets"])
             for net in ns_descriptor["nets"]:
                 if net["status"] in ("ERROR", "VIM_ERROR"):
-                    error_list.append("VIM network ({}) on error: {}".format(_get_ref(net), net["error_msg"]))
+                    error_list.append("Error at VIM network {}: {}".format(_get_ref(net), net["error_msg"]))
                 elif net["status"] == "ACTIVE":
                     done["networks"] += 1
 
             total["SDN_networks"] = len(ns_descriptor["sdn_nets"])
             for sdn_net in ns_descriptor["sdn_nets"]:
                 if sdn_net["status"] in ("ERROR", "VIM_ERROR", "WIM_ERROR"):
-                    error_list.append("SDN network ({}) on error: {}".format(_get_sdn_ref(sdn_net.get("sce_net_id")),
-                                                                             sdn_net["error_msg"]))
+                    error_list.append("Error at SDN network {}: {}".format(_get_sdn_ref(sdn_net.get("sce_net_id")),
+                                                                           sdn_net["error_msg"]))
                 elif sdn_net["status"] == "ACTIVE":
                     done["SDN_networks"] += 1
 
@@ -327,11 +338,12 @@ class ROClient:
                 for vm in vnf["vms"]:
                     total["VMs"] += 1
                     if vm["status"] in ("ERROR", "VIM_ERROR"):
-                        error_list.append("VIM VM ({}) on error: {}".format(_get_ref(vm), vm["error_msg"]))
+                        error_list.append("Error at VIM VM {}: {}".format(_get_ref(vm), vm["error_msg"]))
                     elif vm["status"] == "ACTIVE":
                         done["VMs"] += 1
             if error_list:
-                return "ERROR", "; ".join(error_list)
+                # skip errors caused because other dependendent task is on error
+                return "ERROR", "; ".join([el for el in error_list if "because depends on failed  ACTION" not in el])
             if all(total[x] == done[x] for x in total):  # DONE == TOTAL for all items
                 return "ACTIVE", str({x: total[x] for x in total if total[x]})  # print only those which value is not 0
             else:
@@ -434,7 +446,7 @@ class ROClient:
             tenant_text = "/" + self.tenant
 
         item_id = 0
-        url = "{}{}/{}".format(self.endpoint_url, tenant_text, item)
+        url = "{}{}/{}".format(self.uri, tenant_text, item)
         if self.check_if_uuid(item_id_name):
             item_id = item_id_name
             url += "/" + item_id_name
@@ -449,7 +461,7 @@ class ROClient:
                 raise ROClientException("No {} found with id '{}'".format(item[:-1], item_id_name),
                                         http_code=404)
             if response.status >= 300:
-                raise ROClientException(response_text, http_code=response.status)
+                raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
         content = self._parse_yaml(response_text, response=True)
 
         if item_id:
@@ -485,7 +497,7 @@ class ROClient:
             # check that exist
             uuid = await self._get_item_uuid(session, item, item_id_name, all_tenants)
 
-        url = "{}{}/{}/{}".format(self.endpoint_url, tenant_text, item, uuid)
+        url = "{}{}/{}/{}".format(self.uri, tenant_text, item, uuid)
         if extra_item:
             url += "/" + extra_item
             if extra_item_id:
@@ -496,7 +508,7 @@ class ROClient:
             response_text = await response.read()
             self.logger.debug("GET {} [{}] {}".format(url, response.status, response_text[:100]))
             if response.status >= 300:
-                raise ROClientException(response_text, http_code=response.status)
+                raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
 
         return self._parse_yaml(response_text, response=True)
 
@@ -504,7 +516,7 @@ class ROClient:
         if not self.tenant:
             self.tenant = await self._get_item_uuid(session, "tenants", self.tenant_id_name, None)
         return self.tenant
-    
+
     async def _get_datacenter(self, session):
         if not self.tenant:
             await self._get_tenant(session)
@@ -547,7 +559,7 @@ class ROClient:
         else:
             action = "/{}".format(action)
 
-        url = "{}{apiver}{tenant}/{item}{id}{action}".format(self.endpoint_url, apiver=api_version_text,
+        url = "{}{apiver}{tenant}/{item}{id}{action}".format(self.uri, apiver=api_version_text,
                                                              tenant=tenant_text, item=item, id=uuid, action=action)
         self.logger.debug("RO POST %s %s", url, payload_req)
         # timeout = aiohttp.ClientTimeout(total=self.timeout_large)
@@ -555,7 +567,7 @@ class ROClient:
             response_text = await response.read()
             self.logger.debug("POST {} [{}] {}".format(url, response.status, response_text[:100]))
             if response.status >= 300:
-                raise ROClientException(response_text, http_code=response.status)
+                raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
 
         return self._parse_yaml(response_text, response=True)
 
@@ -577,14 +589,14 @@ class ROClient:
         else:
             uuid = item_id_name
 
-        url = "{}{}/{}/{}".format(self.endpoint_url, tenant_text, item, uuid)
+        url = "{}{}/{}/{}".format(self.uri, tenant_text, item, uuid)
         self.logger.debug("DELETE %s", url)
         # timeout = aiohttp.ClientTimeout(total=self.timeout_short)
         async with session.delete(url, headers=self.headers_req) as response:
             response_text = await response.read()
             self.logger.debug("DELETE {} [{}] {}".format(url, response.status, response_text[:100]))
             if response.status >= 300:
-                raise ROClientException(response_text, http_code=response.status)
+                raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
 
         return self._parse_yaml(response_text, response=True)
 
@@ -598,7 +610,7 @@ class ROClient:
                 await self._get_tenant(session)
             tenant_text = "/" + self.tenant
 
-        url = "{}{}/{}".format(self.endpoint_url, tenant_text, item)
+        url = "{}{}/{}".format(self.uri, tenant_text, item)
         separator = "?"
         if filter_dict:
             for k in filter_dict:
@@ -610,7 +622,7 @@ class ROClient:
             response_text = await response.read()
             self.logger.debug("GET {} [{}] {}".format(url, response.status, response_text[:100]))
             if response.status >= 300:
-                raise ROClientException(response_text, http_code=response.status)
+                raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
 
         return self._parse_yaml(response_text, response=True)
 
@@ -625,16 +637,16 @@ class ROClient:
             tenant_text = "/" + self.tenant
 
         payload_req = yaml.safe_dump(descriptor)
-            
+
         # print payload_req
-        url = "{}{}/{}/{}".format(self.endpoint_url, tenant_text, item, item_id)
+        url = "{}{}/{}/{}".format(self.uri, tenant_text, item, item_id)
         self.logger.debug("RO PUT %s %s", url, payload_req)
         # timeout = aiohttp.ClientTimeout(total=self.timeout_large)
         async with session.put(url, headers=self.headers_req, data=payload_req) as response:
             response_text = await response.read()
             self.logger.debug("PUT {} [{}] {}".format(url, response.status, response_text[:100]))
             if response.status >= 300:
-                raise ROClientException(response_text, http_code=response.status)
+                raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
 
         return self._parse_yaml(response_text, response=True)
 
@@ -644,22 +656,23 @@ class ROClient:
         :return: a list with integers ["major", "minor", "release"]. Raises ROClientException on Error,
         """
         try:
+            response_text = ""
             async with aiohttp.ClientSession(loop=self.loop) as session:
-                url = "{}/version".format(self.endpoint_url)
+                url = "{}/version".format(self.uri)
                 self.logger.debug("RO GET %s", url)
                 # timeout = aiohttp.ClientTimeout(total=self.timeout_short)
                 async with session.get(url, headers=self.headers_req) as response:
                     response_text = await response.read()
                     self.logger.debug("GET {} [{}] {}".format(url, response.status, response_text[:100]))
                     if response.status >= 300:
-                        raise ROClientException(response_text, http_code=response.status)
+                        raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
 
                 for word in str(response_text).split(" "):
                     if "." in word:
                         version_text, _, _ = word.partition("-")
                         return version_text
                 raise ROClientException("Got invalid version text: '{}'".format(response_text), http_code=500)
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -691,7 +704,7 @@ class ROClient:
                 else:
                     raise ROClientException("Output not a list neither dict with len equal 1", http_code=500)
                 return content
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -721,7 +734,7 @@ class ROClient:
                 content = await self._get_item(session, self.client_to_RO[item], item_id_name, extra_item=extra_item,
                                                extra_item_id=extra_item_id, all_tenants=all_tenants)
                 return remove_envelop(item, content)
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -749,7 +762,7 @@ class ROClient:
                     if action_id:
                         result["action_id"] = action_id
                 return result
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -797,7 +810,7 @@ class ROClient:
                 outdata = await self._edit_item(session, self.client_to_RO[item], item_id, create_desc,
                                                 all_tenants=_all_tenants)
                 return remove_envelop(item, outdata)
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -842,7 +855,7 @@ class ROClient:
                 outdata = await self._create_item(session, self.client_to_RO[item], create_desc,
                                                   all_tenants=all_tenants)
                 return remove_envelop(item, outdata)
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -897,7 +910,7 @@ class ROClient:
                                                   item_id_name=item_id_name,  # item_id_name=item_id
                                                   action=action, all_tenants=_all_tenants)
                 return remove_envelop(item, outdata)
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -942,7 +955,7 @@ class ROClient:
                 item_id = await self._get_item_uuid(session, self.client_to_RO[item], item_id_name, all_tenants=True)
                 await self._get_tenant(session)
 
-                url = "{}/{tenant}/{item}/{item_id}".format(self.endpoint_url, tenant=self.tenant,
+                url = "{}/{tenant}/{item}/{item_id}".format(self.uri, tenant=self.tenant,
                                                             item=self.client_to_RO[item], item_id=item_id)
                 self.logger.debug("RO POST %s %s", url, payload_req)
                 # timeout = aiohttp.ClientTimeout(total=self.timeout_large)
@@ -950,12 +963,12 @@ class ROClient:
                     response_text = await response.read()
                     self.logger.debug("POST {} [{}] {}".format(url, response.status, response_text[:100]))
                     if response.status >= 300:
-                        raise ROClientException(response_text, http_code=response.status)
+                        raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
 
                 response_desc = self._parse_yaml(response_text, response=True)
                 desc = remove_envelop(item, response_desc)
                 return desc
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -968,24 +981,21 @@ class ROClient:
                 item_id = await self._get_item_uuid(session, self.client_to_RO[item], item_id_name, all_tenants=False)
                 tenant = await self._get_tenant(session)
 
-                url = "{}/{tenant}/{item}/{datacenter}".format(self.endpoint_url, tenant=tenant,
+                url = "{}/{tenant}/{item}/{datacenter}".format(self.uri, tenant=tenant,
                                                                item=self.client_to_RO[item], datacenter=item_id)
                 self.logger.debug("RO DELETE %s", url)
-               
+
                 # timeout = aiohttp.ClientTimeout(total=self.timeout_large)
                 async with session.delete(url, headers=self.headers_req) as response:
                     response_text = await response.read()
                     self.logger.debug("DELETE {} [{}] {}".format(url, response.status, response_text[:100]))
                     if response.status >= 300:
-                        raise ROClientException(response_text, http_code=response.status)
-                        if response.status >= 300:
-                            raise ROClientException(response_text, http_code=response.status)
+                        raise ROClientException(self._parse_error_yaml(response_text), http_code=response.status)
 
                 response_desc = self._parse_yaml(response_text, response=True)
                 desc = remove_envelop(item, response_desc)
                 return desc
-        except aiohttp.ClientOSError as e:
+        except (aiohttp.ClientOSError, aiohttp.ClientError) as e:
             raise ROClientException(e, http_code=504)
         except asyncio.TimeoutError:
             raise ROClientException("Timeout", http_code=504)
@@ -1099,35 +1109,35 @@ class ROClient:
             datacenter = self.get_datacenter(session)
 
         if action == "list":
-            url = "{}{}/vim/{}/{}".format(self.endpoint_url, tenant_text, datacenter, item)
+            url = "{}{}/vim/{}/{}".format(self.uri, tenant_text, datacenter, item)
             self.logger.debug("GET %s", url)
             mano_response = requests.get(url, headers=self.headers_req)
             self.logger.debug("RO response: %s", mano_response.text)
-            content = self._parse_yaml(mano_response.text, response=True)            
+            content = self._parse_yaml(mano_response.text, response=True)
             if mano_response.status_code == 200:
                 return content
             else:
-                raise ROClientException(str(content), http_code=mano_response.status)        
+                raise ROClientException(str(content), http_code=mano_response.status)
         elif action == "get" or action == "show":
-            url = "{}{}/vim/{}/{}/{}".format(self.endpoint_url, tenant_text, datacenter, item, uuid)
+            url = "{}{}/vim/{}/{}/{}".format(self.uri, tenant_text, datacenter, item, uuid)
             self.logger.debug("GET %s", url)
             mano_response = requests.get(url, headers=self.headers_req)
             self.logger.debug("RO response: %s", mano_response.text)
-            content = self._parse_yaml(mano_response.text, response=True)            
+            content = self._parse_yaml(mano_response.text, response=True)
             if mano_response.status_code == 200:
                 return content
             else:
-                raise ROClientException(str(content), http_code=mano_response.status)        
+                raise ROClientException(str(content), http_code=mano_response.status)
         elif action == "delete":
-            url = "{}{}/vim/{}/{}/{}".format(self.endpoint_url, tenant_text, datacenter, item, uuid)
+            url = "{}{}/vim/{}/{}/{}".format(self.uri, tenant_text, datacenter, item, uuid)
             self.logger.debug("DELETE %s", url)
             mano_response = requests.delete(url, headers=self.headers_req)
             self.logger.debug("RO response: %s", mano_response.text)
-            content = self._parse_yaml(mano_response.text, response=True)            
+            content = self._parse_yaml(mano_response.text, response=True)
             if mano_response.status_code == 200:
                 return content
             else:
-                raise ROClientException(str(content), http_code=mano_response.status)        
+                raise ROClientException(str(content), http_code=mano_response.status)
         elif action == "create":
             if "descriptor" in kwargs:
                 if isinstance(kwargs["descriptor"], str):
@@ -1138,7 +1148,7 @@ class ROClient:
                 descriptor = {item[:-1]: {"name": kwargs["name"]}}
             else:
                 raise ROClientException("Missing descriptor")
-        
+
             if item[:-1] not in descriptor or len(descriptor) != 1:
                 raise ROClientException("Descriptor must contain only one 'tenant' field")
             if "name" in kwargs:
@@ -1147,7 +1157,7 @@ class ROClient:
                 descriptor[item[:-1]]['description'] = kwargs["description"]
             payload_req = yaml.safe_dump(descriptor)
             # print payload_req
-            url = "{}{}/vim/{}/{}".format(self.endpoint_url, tenant_text, datacenter, item)
+            url = "{}{}/vim/{}/{}".format(self.uri, tenant_text, datacenter, item)
             self.logger.debug("RO POST %s %s", url, payload_req)
             mano_response = requests.post(url, headers=self.headers_req, data=payload_req)
             self.logger.debug("RO response: %s", mano_response.text)
@@ -1179,7 +1189,7 @@ if __name__ == '__main__':
     tenant_id = None
     vim_id = False
     loop = asyncio.get_event_loop()
-    myClient = ROClient(endpoint_url=RO_URL, loop=loop, loglevel="DEBUG")
+    myClient = ROClient(uri=RO_URL, loop=loop, loglevel="DEBUG")
     try:
         # test tenant
         content = loop.run_until_complete(myClient.get_list("tenant"))