Feature 10339 - Enhanced Alarm Mgmt. (SOL005 FM Interface)

Change-Id: I917a09ebc4c3b262b5dea8056cae775615a654d6
Signed-off-by: Atul Agarwal <atul.agarwal@altran.com>
(cherry picked from commit e9228cf9ae98c524d477cf823a59515864aba07e)

Point dependencies to branch

Change-Id: Ia8088512a0391c67ac88aa45c631054a5c6029cb
Signed-off-by: beierlm <mark.beierl@canonical.com>

Reformat POL to standardized format

Change-Id: I955a76830f582b6d152e242568d74a12907c782c
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Including upstream requirements

Now that internal OSM software does not specify python modules in
setup.py, we need to include the requirements.txt from the module
in the requirements-dev.in to generate the full list properly.

Change-Id: I11c1ea9cc7b362e9f0238a76117667ade370a8ee
Signed-off-by: beierlm <mark.beierl@canonical.com>

Adding GitLab Scanner

Adds gitlab-ci yaml file to enable security scans in GitLab mirror

Change-Id: Ifc632fa1f35ec799354a7d39d8bf644e789f6ed2
Signed-off-by: beierlm <mark.beierl@canonical.com>

Feature 10296 Pip Standardization

Creates standard template for tox.ini
Introduces 'safety' for listing upstream CVEs
Pins all versions of all upstream modules
Removes Makefile step and places all build logic into tox.ini

Change-Id: I96b0007f918930e61e54edda4b43a4aba90d26d9
Feature: 10296
Signed-off-by: beierlm <mark.beierl@canonical.com>

fix(scaling): min instance count now from right sol006 field and condition fixed. Bug 1388

Change-Id: I465e0e9d53c1384bff1c64ab542f2ca5697bed6e
Signed-off-by: bravof <fbravo@whitestack.com>

SOL006 patch for POL

Change-Id: Id7bb8f8bb358fcbe8b348617bdb64c224daba5a7
Signed-off-by: garciaale <agarcia@whitestack.com>

fix(aiokafka): version now fixed to 0.6.0 (this is the latest at the moment)

Change-Id: If9477995e41497aa3171266efa1c5d88976f1cc3
Signed-off-by: bravof <fbravo@whitestack.com>

fix(healthcheck): new flag implemented as a file for health checking in POL (it only appears after all migrations and connections were made)

Change-Id: I7fac1e4f219526b9ac7a4e28f1be1b456d365b5d
Signed-off-by: bravof <fbravo@whitestack.com>

Resolved bug 1087

Change-Id: I2b83e1d731e0459a76f1ecf5ab95357c808999f7
Signed-off-by: Atul Agarwal <atul.agarwal@altran.com>

Resolved bug 1047.

Adds # pylint: disable=no-member due to dynamic creation of VNF
alarm member.

Change-Id: I7ce58193e60847699777521c115384fde1ca6ec4
Signed-off-by: Atul Agarwal <atul.agarwal@altran.com>

Fix metric name at VNF Alarms feature

Change-Id: Ia996a26befe7bc871b2801c4758fe1deaf2eb987
Signed-off-by: Gianpietro Lavado <glavado@whitestack.com>

Adds arch docs to POL

Change-Id: If8ad88148e50b76c7df29d7a16ddaa58fce9f84b
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Refactors alarm creation to comply with changes regarding the use of tags instead of fixed fields

MON changed alarms to include the concept of tags. POL process for alarm creation has
modified to comply with this.
Also, some refactoring has been done in the autoscaling service.

Change-Id: Iaf18262d05727bbb8ff06e83bce13e991aecab6c
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds unit test coverage

Adds the coverage module and reporting to tox so it can be
reported with each build.

Change-Id: Ib05fed7b5fea8d777b57deb42912f4a8898832b4
Signed-off-by: beierl <mbeierl@vmware.com>

Adds projects_read and projects_write params to scaling nslcmop

Change-Id: Iebd318b9815e711a374ba6ee235577cb2e5234ff
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Upgrading aiokafka to 0.5.*

Change-Id: I287b95a0d9fc6132edadfb2b7b446a3ec7d9e142
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Removes kafka check from healthcheck

Change-Id: I307361789522b87b7191019ee8f99394ffce605a
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Changes vnf_member_index to a string

bug 690

Change-Id: I13200cef5039368215a6df2c7f0e93a7de12f2a4
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds missing healthcheck command to setup.py

bug 716

Change-Id: I63df0ee76b48722fdba480db851cda3a502702c4
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds basic healthcheck to Dockerfile

Change-Id: Ia69f49dbfb6e1ff479548d19327d5f26e1a291ed
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Improves handling of database connections

Change-Id: Ice70378bb0bad3566f51b65476eafcfdac3c991c
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Makes actions in vnf alarm optional

Change-Id: I4db3e01903d4c82cd8c89529e62fc0146853969f
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Removing unused CMD from Dockerfile

Change-Id: I41457113b0ff55cf3e3544c70365b4de56b3cc20
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds requests package installation to debian postinst

Change-Id: Ibeb270fce9cc0fe546da479a7c34981c4b918329
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Improves README

Change-Id: I378ef316d15e5a2d0f943cfb93e92127d80cd82e
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds pylint to tox test pipeline and fixes related errors

Change-Id: Ie19400ce0cf591e0bfcbca690bd5d905ad9bd6f5
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds support for vnf alarms

Abstracts database logic into repositories for easier unit testing
Adds unit tests

Feature 6373

Change-Id: If006a680227f814de1516ec35aa177ed66b48ca1
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Refactors autoscaling module to separate concerns and allow better control of db connections

Change-Id: I57034d34ae2fbb3c4aeda784f9542e643d348460
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds support in entrypoint script for more complex mysql URI (+pool and query params)

Change-Id: Iab6bd86196d9b0bf330eac6b053fdda5dc021328
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Modifies POL to create database if using mysql URI

Change-Id: I718e703992eac66bae22cbc44ea8b78cbd776371
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds migration engine for peewee ORM

bug 590

Change-Id: If6752715d455cbeb3dc2633e9b62f79360fef767
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Replaces direct use of aiokafka with osm_common message bus in agent and
lcmclient

Changes config handling to comply with the way it is handled in other modules,
by using a config file and overriding it with env vars.

Adds unit tests for message_bus_client.

Mon client remains using aiokafka directly, as there is no support yet for
auto_offset_reset configuration in osm_common.

Change-Id: I99615287cc934ce310105e86544a6bfe26bc0673
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Exits process when encountered by a database exception

Database errors could mean database node failure. In this cases, the process
should exit so it could be automatically restarted (when handled by Docker Swarm, K8s, etc)
so it can obtain a new DB connection to an alive node.

Change-Id: I42a3954fe238a0445101eb71add79aaef4315c2e
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Removes try except block from creation of database tables

In case there is an error connecting to the database engine, or the database
is not yet created, POL should fail. This is specially relevant to avoid race
conditions in Docker and K8s deployments using MySQL/MariaDB, because peewee
needs the database to already exist.

Change-Id: Iabe46c1c4f718919e10fc65271d0e814c5f9a146
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds pymysql to requirements.txt

Allows using a mysql database as peewee backend

Change-Id: If0c408d57f9d20d36a04e5cf8421a0a9f9c1d0b9
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds deletion of orphaned alarms after an scalein operation

Change-Id: Ic461abb88d5514367c284ae79b4ed8914bc0281e
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Merge "Adds use of alarm response topics based on cor_id"

Merge "added env vars for mongo ha"

Adds use of alarm response topics based on cor_id

Change-Id: I6cde487c95c55e6b9b0e021d058d95fcec8881ba
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds support for autoscaling based on vnf-metric

Change-Id: I179395ce1390f9031b15d141ff3b37839943368e
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds deletion of scaling alarms in POL and MON after ns termination

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Iefe8de25061cfffa0220671a8072c2bc155332eb

added env vars for mongo ha

Change-Id: Ied541f300e819eacbc31426089eb7ca547b59f34
Signed-off-by: Juan <jquiroga@whitestack.com>

Refactor scaling group config and adds partial support for vnf metrics

Adds support for scaling groups based on vdu-metric corresponding to a juju
metric. It also includes modifications to support MON modifications regarding
vnf-monitoring-params.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I1a1604f965c077fa14a19ad7a26da0facc4818ba

Fixes discrepancies with IM related to monitoring params

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ie57107550b229292fad7ecb9ed154dd51bf5985e

Renames DbClient to CommonDbClient to avoid confusion

POL comunicates with two different databases, a relational
one, that stores records for alarms, scaling groups and more,
and a nonrelational one, that is common to all OSM modules,
which we call CommonDB, that currently corrsponds to a MongoDB
instance and stores nsds, vnfds, etc.
The name db_client and DbClient used in the file and
class that comunicates with CommonDB may be open to confussion,
so it has been renamed as common_db_client and CommonDbClient.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I8209cbc23b5ab129221d1c928703929e4f405a4c

Implements aiokafka and modifies code to support asyncio

Replaces multithreading with asyncronous calls to kafka.
Implements the async/await keywords in methods that needed
it.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ic93054dc9a6b3835e2eaf1a480e5081c5eb9d4f5

Adds use of OSMPOL_SQL_DATABASE_URI config param to connect to DB

The OSMPOL_SQL_DATABASE_URI was not being used by POL to connect
to the database. There was a hardcoded sqlite database name.
This change should now provide capability to the user to use any
SQL database engine supported by the peewee ORM (mysql/mariadb,
postgres, sqlite).

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Iff406862fb3dfeb4453fb3213c94db6d62385d96

Adds deletion of alarms in case exception is thrown during scaling config

If a exception is thrown during the configuration of a scaling group, POL
will check if there have been alarms created through MON, and if that is
the case, it will delete them.
Also, it adds validation of the MON alarm responses. It throws an exception
if MON returns status: False, meaning there was an error creating the alarm.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I4f5f0c95ae2cce0c71efb73ff2e06cdf8ea08864

Merge "Added LICENSE file to root folder"

Adds vnf_member_index attribute to ScalingGroup model

Changes default last_scale attribute in ScalingPolicy
to datetime.datetime.now.
Adds some debug logs.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds unique group_id to KafkaConsumer used in MonClient

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Modifies version_command to use pep440-git-full

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds support for cooldown-time variable in scaling-policy

Cooldown time defines the minimum time that needs to happen between
each scaling action. If an alarm triggers before this has happened,
no action should be executed. When POL receives an alarm notification
it will check that the difference between the current time and the
last scaling action of the alarm's scaling policy is bigger than the
cooldown time.
During configuration of the scaling groups, POL will now store the
cooldown time of the scaling policy. Also, it adds a new last_scale
var to ScalingPolicy, which has as default the oldest time supported
by Python datetime.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I6d110ccc7f89af29500c602d05054e7ba78808a0

Fixes StopIteration error in multi scaling group descriptor scenarios

The code was iterating over all vdus in a vnfd, instead of doing
so over the vdu refs inside the scaling-group. This lead to errors
when there was a vdu without the metric declared in the criteria.
It has been replaced to iterate over the vdus in the scaling group
descriptor, which is the correct behaviour.
This commit also fixes an error in the scale function, which was
still using the old db structure.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I8b8450534f739e6afecc2602086c868ffaee79bc

Removes filter param from osm-common function calls

The filter argument was replaced to q_filter. Instead of
renaming the keyword arg, now functions are called using
only positional args.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds handling of scaled life cycle operation

Configures alarms on vdus created after a scaling operation, which
correspond to the 'scaled' message, using the same handler used with
the 'instantiated' message, in which a check has been added to avoid
duplicate alarms.
It also fixes the vdu name used when creating the alarm through MON,
which is now the vdur name and not the vdu-id-ref used in the vnfd.
Finally, it adds a check for the scaling-type param in the scaling policy,
only executing the autoscaling logic if it is set to 'automatic'.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I3499ebdb5605f80ff73d905fbe3ac61d0d806687

Refactor common_db client code

Creates DbClient which exposes methods to interact with the common
database, using osm_common module.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ib81bb44e5f2c6ffd289380936b089af2f9e76e63

Adds pip installation of python deps in deb package install

Adds postinst script
Adds Makefile (there is an issue when using postinst with tox)
Adds stdeb.cfg declaring binary dependencies
Reenables flake8 in tox
Removes consumer timeout that should have never been there
Readds group_id in kafka consumer

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ied0cb6135aee5f08cfd36c9cbaafa4c174b7434f

Added LICENSE file to root folder

Change-Id: I411ad72697d614558e9bed2b20e750b1725c6e2e
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Fixup name of MON -> POL

Signed-off-by: Mike Marchetti <mmarchetti@sandvine.com>

Fixes dependency error in setup.py

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Migrates POL code from MON repo

Adds support for VDU metric autoscaling
Modifies env var names

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: If9587e1b8eacaf6fb297306050a97d33c8a63ead

Initial empty repository