Allow logging at file. Check member-vnf-index at ns action
[osm/NBI.git] / osm_nbi / engine.py
index 7b8799d..4d611cc 100644 (file)
@@ -1,10 +1,10 @@
 # -*- coding: utf-8 -*-
 
-import dbmongo
-import dbmemory
-import fslocal
-import msglocal
-import msgkafka
+from osm_common import dbmongo
+from osm_common import dbmemory
+from osm_common import fslocal
+from osm_common import msglocal
+from osm_common import msgkafka
 import tarfile
 import yaml
 import json
@@ -12,9 +12,9 @@ import logging
 from random import choice as random_choice
 from uuid import uuid4
 from hashlib import sha256, md5
-from dbbase import DbException
-from fsbase import FsException
-from msgbase import MsgException
+from osm_common.dbbase import DbException
+from osm_common.fsbase import FsException
+from osm_common.msgbase import MsgException
 from http import HTTPStatus
 from time import time
 from copy import deepcopy
@@ -243,7 +243,48 @@ class Engine(object):
                 clean_indata = clean_indata['userDefinedData']
         return clean_indata
 
-    def _validate_new_data(self, session, item, indata, id=None):
+    def _check_dependencies_on_descriptor(self, session, item, descriptor_id):
+        """
+        Check that the descriptor to be deleded is not a dependency of others
+        :param session: client session information
+        :param item: can be vnfds, nsds
+        :param descriptor_id: id of descriptor to be deleted
+        :return: None or raises exception
+        """
+        if item == "vnfds":
+            _filter = {"constituent-vnfd.ANYINDEX.vnfd-id-ref": descriptor_id}
+            if self.get_item_list(session, "nsds", _filter):
+                raise EngineException("There are nsd that depends on this VNFD", http_code=HTTPStatus.CONFLICT)
+        elif item == "nsds":
+            _filter = {"nsdId": descriptor_id}
+            if self.get_item_list(session, "nsrs", _filter):
+                raise EngineException("There are nsr that depends on this NSD", http_code=HTTPStatus.CONFLICT)
+
+    def _check_descriptor_dependencies(self, session, item, descriptor):
+        """
+        Check that the dependent descriptors exist on a new descriptor or edition
+        :param session: client session information
+        :param item: can be nsds, nsrs
+        :param descriptor: descriptor to be inserted or edit
+        :return: None or raises exception
+        """
+        if item == "nsds":
+            if not descriptor.get("constituent-vnfd"):
+                return
+            for vnf in descriptor["constituent-vnfd"]:
+                vnfd_id = vnf["vnfd-id-ref"]
+                if not self.get_item_list(session, "vnfds", {"id": vnfd_id}):
+                    raise EngineException("Descriptor error at 'constituent-vnfd':'vnfd-id-ref'='{}' references a non "
+                                          "existing vnfd".format(vnfd_id), http_code=HTTPStatus.CONFLICT)
+        elif item == "nsrs":
+            if not descriptor.get("nsdId"):
+                return
+            nsd_id = descriptor["nsdId"]
+            if not self.get_item_list(session, "nsds", {"id": nsd_id}):
+                raise EngineException("Descriptor error at nsdId='{}' references a non exist nsd".format(nsd_id),
+                                      http_code=HTTPStatus.CONFLICT)
+
+    def _validate_new_data(self, session, item, indata, id=None, force=False):
         if item == "users":
             if not indata.get("username"):
                 raise EngineException("missing 'username'", HTTPStatus.UNPROCESSABLE_ENTITY)
@@ -271,6 +312,8 @@ class Engine(object):
                                       HTTPStatus.CONFLICT)
 
             # TODO validate with pyangbind
+            if item == "nsds" and not force:
+                self._check_descriptor_dependencies(session, "nsds", indata)
         elif item == "userDefinedData":
             # TODO validate userDefinedData is a keypair values
             pass
@@ -282,6 +325,25 @@ class Engine(object):
                 raise EngineException("name '{}' already exists for {}".format(indata["name"], item),
                                       HTTPStatus.CONFLICT)
 
+    def _check_ns_operation(self, session, nsr, operation, indata):
+        """
+        Check that user has enter right parameters for the operation
+        :param session:
+        :param operation: it can be: instantiate, terminate, action, TODO: update, heal
+        :param indata: descriptor with the parameters of the operation
+        :return: None
+        """
+        if operation == "action":
+            if indata.get("vnf_member_index"):
+                indata["member_vnf_index"] = indata.pop("vnf_member_index")    # for backward compatibility
+            for vnf in nsr["nsd"]["constituent-vnfd"]:
+                if indata["member_vnf_index"] == vnf["member-vnf-index"]:
+                    # TODO get vnfd, check primitives
+                    break
+            else:
+                raise EngineException("Invalid parameter member_vnf_index='{}' is not one of the nsd "
+                                          "constituent-vnfd".format(indata["member_vnf_index"]))
+
     def _format_new_data(self, session, item, indata):
         now = time()
         if not "_admin" in indata:
@@ -620,7 +682,7 @@ class Engine(object):
             raise EngineException(
                 "Invalid query string '{}'. Index '{}' out of  range".format(k, kitem_old))
 
-    def new_item(self, session, item, indata={}, kwargs=None, headers={}):
+    def new_item(self, session, item, indata={}, kwargs=None, headers={}, force=False):
         """
         Creates a new entry into database. For nsds and vnfds it creates an almost empty DISABLED  entry,
         that must be completed with a call to method upload_content
@@ -629,6 +691,7 @@ class Engine(object):
         :param indata: data to be inserted
         :param kwargs: used to override the indata descriptor
         :param headers: http request headers
+        :param force: If True avoid some dependence checks
         :return: _id: identity of the inserted data.
         """
 
@@ -649,7 +712,7 @@ class Engine(object):
                 # in this case the input descriptor is not the data to be stored
                 return self.new_nsr(session, ns_request=content)
 
-            self._validate_new_data(session, item_envelop, content)
+            self._validate_new_data(session, item_envelop, content, force)
             if item in ("nsds", "vnfds"):
                 content = {"_admin": {"userDefinedData": content}}
             self._format_new_data(session, item, content)
@@ -667,7 +730,7 @@ class Engine(object):
         except ValidationError as e:
             raise EngineException(e, HTTPStatus.UNPROCESSABLE_ENTITY)
 
-    def new_nslcmop(self, session, nsInstanceId, action, params):
+    def new_nslcmop(self, session, nsInstanceId, operation, params):
         now = time()
         _id = str(uuid4())
         nslcmop = {
@@ -676,7 +739,7 @@ class Engine(object):
             "operationState": "PROCESSING",  # COMPLETED,PARTIALLY_COMPLETED,FAILED_TEMP,FAILED,ROLLING_BACK,ROLLED_BACK
             "statusEnteredTime": now,
             "nsInstanceId": nsInstanceId,
-            "lcmOperationType": action,
+            "lcmOperationType": operation,
             "startTime": now,
             "isAutomaticInvocation": False,
             "operationParams": params,
@@ -688,40 +751,40 @@ class Engine(object):
         }
         return nslcmop
 
-    def ns_action(self, session, nsInstanceId, action, indata, kwargs=None):
+    def ns_operation(self, session, nsInstanceId, operation, indata, kwargs=None):
         """
-        Performs a new action over a ns
+        Performs a new operation over a ns
         :param session: contains the used login username and working project
-        :param nsInstanceId: _id of the nsr to perform the action
-        :param action: it can be: instantiate, terminate, action, TODO: update, heal
-        :param indata: descriptor with the parameters of the action
+        :param nsInstanceId: _id of the nsr to perform the operation
+        :param operation: it can be: instantiate, terminate, action, TODO: update, heal
+        :param indata: descriptor with the parameters of the operation
         :param kwargs: used to override the indata descriptor
         :return: id of the nslcmops
         """
         try:
             # Override descriptor with query string kwargs
             self._update_descriptor(indata, kwargs)
-            validate_input(indata, "ns_" + action, new=True)
+            validate_input(indata, "ns_" + operation, new=True)
             # get ns from nsr_id
             nsr = self.get_item(session, "nsrs", nsInstanceId)
             if not nsr["_admin"].get("nsState") or nsr["_admin"]["nsState"] == "NOT_INSTANTIATED":
-                if action == "terminate" and indata.get("autoremove"):
+                if operation == "terminate" and indata.get("autoremove"):
                     # NSR must be deleted
                     return self.del_item(session, "nsrs", nsInstanceId)
-                if action != "instantiate":
+                if operation != "instantiate":
                     raise EngineException("ns_instance '{}' cannot be '{}' because it is not instantiated".format(
-                        nsInstanceId, action), HTTPStatus.CONFLICT)
+                        nsInstanceId, operation), HTTPStatus.CONFLICT)
             else:
-                if action == "instantiate" and not indata.get("force"):
+                if operation == "instantiate" and not indata.get("force"):
                     raise EngineException("ns_instance '{}' cannot be '{}' because it is already instantiated".format(
-                        nsInstanceId, action), HTTPStatus.CONFLICT)
+                        nsInstanceId, operation), HTTPStatus.CONFLICT)
             indata["nsInstanceId"] = nsInstanceId
-            # TODO
-            nslcmop = self.new_nslcmop(session, nsInstanceId, action, indata)
+            self._check_ns_operation(session, nsr, operation, indata)
+            nslcmop = self.new_nslcmop(session, nsInstanceId, operation, indata)
             self._format_new_data(session, "nslcmops", nslcmop)
             _id = self.db.create("nslcmops", nslcmop)
             indata["_id"] = _id
-            self.msg.write("ns", action, nslcmop)
+            self.msg.write("ns", operation, nslcmop)
             return _id
         except ValidationError as e:
             raise EngineException(e, HTTPStatus.UNPROCESSABLE_ENTITY)
@@ -847,7 +910,7 @@ class Engine(object):
 
     def del_item(self, session, item, _id, force=False):
         """
-        Get complete information on an items
+        Delete item by its internal id
         :param session: contains the used login username and working project
         :param item: it can be: users, projects, vnfds, nsds, ...
         :param _id: server id of the item
@@ -858,12 +921,16 @@ class Engine(object):
         # data = self.get_item(item, _id)
         filter = {"_id": _id}
         self._add_delete_filter(session, item, filter)
+        if item in ("vnfds", "nsds") and not force:
+            descriptor = self.get_item(session, item, _id)
+            descriptor_id = descriptor["id"]
+            self._check_dependencies_on_descriptor(session, item, descriptor_id)
 
         if item == "nsrs":
             nsr = self.db.get_one(item, filter)
             if nsr["_admin"]["nsState"] == "INSTANTIATED" and not force:
                 raise EngineException("nsr '{}' cannot be deleted because it is in 'INSTANTIATED' state. "
-                                      "Launch 'terminate' action first; or force deletion".format(_id),
+                                      "Launch 'terminate' operation first; or force deletion".format(_id),
                                       http_code=HTTPStatus.CONFLICT)
             v = self.db.del_one(item, {"_id": _id})
             self.db.del_list("nslcmops", {"nsInstanceId": _id})
@@ -934,7 +1001,7 @@ class Engine(object):
                 version["status"]), HTTPStatus.INTERNAL_SERVER_ERROR)
         return
 
-    def _edit_item(self, session, item, id, content, indata={}, kwargs=None):
+    def _edit_item(self, session, item, id, content, indata={}, kwargs=None, force=False):
         if indata:
             indata = self._remove_envelop(item, indata)
 
@@ -971,7 +1038,7 @@ class Engine(object):
             raise EngineException(e, HTTPStatus.UNPROCESSABLE_ENTITY)
 
         _deep_update(content, indata)
-        self._validate_new_data(session, item, content, id)
+        self._validate_new_data(session, item, content, id, force)
         # self._format_new_data(session, item, content)
         self.db.replace(item, id, content)
         if item in ("vim_accounts", "sdns"):
@@ -983,7 +1050,7 @@ class Engine(object):
                 self.msg.write("sdn", "edit", indata)
         return id
 
-    def edit_item(self, session, item, _id, indata={}, kwargs=None):
+    def edit_item(self, session, item, _id, indata={}, kwargs=None, force=False):
         """
         Update an existing entry at database
         :param session: contains the used login username and working project
@@ -991,9 +1058,10 @@ class Engine(object):
         :param _id: identifier to be updated
         :param indata: data to be inserted
         :param kwargs: used to override the indata descriptor
+        :param force: If True avoid some dependence checks
         :return: dictionary, raise exception if not found.
         """
 
         content = self.get_item(session, item, _id)
-        return self._edit_item(session, item, _id, content, indata, kwargs)
+        return self._edit_item(session, item, _id, content, indata, kwargs, force)