Adds use of aiokafka in mon-server

Adds request timeout param for requests made to Prometheus
Adds use of response topics based on cor_id for alarm create/delete RPC

Change-Id: I5544d749d812e4e77ba913b543ccaa83542535d4
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds support for vnf-metric in mon-evaluator

Change-Id: I81e69761448418625ca4076f6e3d3903c07c9f58
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Fixes bug in collection of vnf-metric

Metrics declared in vnf-configuration block were not building correctly the juju
application name.

Change-Id: I952a0a2716edc7a0ea42ae1254ddc5047bcfff89
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Fixes bugs regarding alarm deletion

Adds healthcheck script to be used in devops MON Dockerfile
Removes unused dependencies

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ia353c0ae9ee6a502667c04c96f1bc7f3e9337ced

Revert "Readds plugins code and respective tests"
MON code optimisation on behalf of TSC

This reverts commit 6eda48bf7489c00fee4e1f276404ab82db23fd1d.

Change-Id: If697df74221be72aca9630630e64033f06ece473

Readds plugins code and respective tests

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I80ad624892b513818b1c989494884cc8047e377e

Adds support for VNF metric based alarming

Adds collect_one method to juju collector, which is used by mon-evaluator to
evaluate alarms.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I952280c3c8fa7496f0ea818b7a2ef7f3a091deea

Refactors Prometheus exporter to group metrics correctly by name

Metric names were appearing duplicated in the exporter which generated issues
integrating with external tools such as Metricbeat and Kibana.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds use of uri in connection to MongoDB instead of host and port

MON now uses a mongodb uri to connect to the database. This allows to use uris
that define either a single node db or a replica set, allowing for HA
scenarios.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Revert "Adds use of uri in connection to MongoDB instead of host and port"

This reverts commit 2fa92533799dcac2fbb47db2e06579e951294e6a.

Change-Id: Ief2dc8eb49577c9321b34f67efa5296edc281056

Adds use of uri in connection to MongoDB instead of host and port

MON now uses a mongodb uri to connect to the database. This allows to use uris
that define either a single node db or a replica set, allowing for HA
scenarios.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds alarm engine

Alarms are now created directly through mon-central. A new component called
mon-evaluator evaluates the alarms and sends a notification in case it
triggers. Alarms are still created through the Kafka bus using the same model.

It also deletes all of the old unused code of the plugin model. There were
thousands of lines dedicated to provide CRUD operations for metrics and alarms
in the VIM plugins that were never used. MON only requires to collect metrics
and insert them in the TSDB. VIMs manage their metrics autonomously. The tests
for that were also removed. This was done to make the codebase more
manageable. Support for VROPS and AWS will be added in a future patch. Neither
of those two plugins worked correctly. They need to be adapted to the new
consumer plugin model.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I656c78be82ca21b760a83b478560d0c8ae680222

Adds support for OSMMON_DATABASE_COMMONKEY to decrypt vim passwords

When vim_accounts msgs arrive in the Kafka bus, vim password is decrypted
and stored in the SQL database. The ideal scenario would be to store it
encrypted in the SQL DB and decrypt it on demand, but that would require
to store the schema_version, instantiate a DbMongo client everywhere it is
needed and a few other modifications that would severely pollute the codebase.
There needs to be a modification in the future on the osm_common side to make
this more doable.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Changes way metrics are collected, removing the use of mon-proxy

Collector now collects vim metrics directly, without to send kafka msgs
to mon-proxy. Also a plugin/backend model has been implemented to ease
possible inclusions of other vims and tsbds in the future.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I554a4f5e410a31ec70aa301c8aa819b1f03a3857

Adds use of N2VC.FormatApplicationName in collector

MonCollector was using its own method for generating the juju app name.
It is been replaced by the N2VC one that is also used by LCM on deployment.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ic2a19825f055cc9b77404f8cf13152e5b6514214

Adds OSMMON_VCA_USER and adds timeout and max.poll.interval to collector
consumer

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ib4db9874d69bd72d7267542d7a1f149cb44faf41

Merge "Set node to run on label docker"

Set node to run on label docker

Signed-off-by: Mike Marchetti <mmarchetti@sandvine.com>

Adds time.sleep in Kafka validation loop

Adds max_poll_interval_ms=900000 in KafkaConsumer

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds support for Juju metrics in collector

MON now collects VNF metrics defined in the VNFD in the metrics
section. This are obtained through N2VC.
Prometheus exporter now exposes this metrics.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds use of CustomCollector in Prometheus exporter

Using a CustomCollector gives more control over the collection
process, which allows handling the removal of metrics when a NS
is deleted. Metrics now have a lifespan of a collection cycle, so
metrics of deleted vdus are now not visible in the exporter.

It also adds MonCollector class, which allows to abstract collection
logic and facilitates testing.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Idfdb86c1ee9facd07187e6582954ae4cab32a5b4

Aodh notifier now uses port defined in OS_NOTIFIER_URI

Aodh notifier was using always port 8662, instead of
getting the port defined in config. That has been fixed.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Removes threading from common_consumer

It appears KafkaConsumer is not threadsafe, and it was generating
issues regarding the sending of heartbeats, causing kafka to kill
connections and causing coordinator dead errors.
Also removes heartbeat and session timeouts from consumer config.
They were generating conflicts with different default request
timeouts, and were in place to leverage issues regarding what is
mentioned above.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Refactors codebase

Refactors duplicated code. Renames and reorganizes classes and methods.
Refactors tests.
Kafka message handling is removed from plugins. They now return response msg
dict and top level code handles publishing.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I9826db9c4586d961f40af6cb194fc388fe855ae1

Refactors code in OpenStack plugin

Continues refactor process on OpenStack metrics plugin.
Delegates exception handling to the main metric handler,
removing exception management from specific function calls.
Extracts response generation code into single method.
Adds 'status' param in message responses where it was missing.
Modifies tests accordingly.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I6ad27734f37708f5ccbef13e322723225545db4e

Fixes discrepancies and missing params in JSON models

Updates JSON models to be up to date with the params required by MON.
It constitutes a first step in the process of converting JSON models
to actual JSON Schema files.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I9c3c0b69ee59e98805fb3f92f69d01f4fb142913

Refactor common_db client code

Creates CommonDbClient which exposes methods to interact with the common
database, using osm_common module.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I98babcdb892e86fdb14d04873b2bbbdabbdad23f

Revert "Revert "Removes POL code from MON repo""

This reverts commit 17ebe3794d0dc2712b1438f3fc5469ca10d752e1.

Added LICENSE file to root folder

Change-Id: Iebe424b8d0f05d12840ef0911fd3dd2ccc9887fe
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Adds MON Prometheus exporter

Adds a new MON component called mon-exporter, which collects
vdu infra metrics and exposes them through a webservice
by using prometheus_client. This webservice follows the Prometheus
exporter format so it can be integrated as a target so that
it polls metrics from there.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Iaf2073879d884d0597aa8341f7b6fbbbc3d86e7e

Sets repeat_action to True in OpenStack alarm creation

Alarms created in OpenStack will be configured to retrigger actions
during each evaluation cycle if they are still in alarm state.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Increases Kafka session_timeout_ms and heartbeat_interval_ms

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds OSMMON_KAFKA_LOG_LEVEL env var

Also removes unnecessary code from producer.py and moves
the consumer in common_consumer inside run method to ease
mocking during tests.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ib7e0b9423a7c7d2acdd12f1bcb75b20eb3a7ea72

Adds OSMMON_LOG_LEVEL env var to config log level

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Removes filter param from osm-common function calls

The filter argument was replaced to q_filter. Instead of
renaming the keyword arg, now functions are called using
only positional args.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds support for SSL verification option in OpenStack Aodh plugin

Alarm management operations now consider the insecure option
in vim config.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Id25a50a4f4a8db3775364b9639d1eb3926dab53a

Replaces vdu-id-ref for name during VDU lookup

Vdus were being looked up using the vdu-id-ref param, which
corresponds to the name used in the vnfd to define that vdu.
That was not the intended behaviour, because that param is clearly
not unique. It has been replaced with the name param, which
is unique to each vdu record.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Add version schedule pep440-git-full

Change-Id: I71a46fae027ba3faee2c5e0239a893ae75e8de25
Signed-off-by: lavado <glavado@whitestack.com>

Adds postinst script to deb package to install dependencies

Adds stdeb.cfg file
Adds Makefile to handle package building
Modifies Jenkins Dockerfile to handle package building

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ia285307ae2350c4a79eb9fd4efaf4abedd181104

Modified vROPs install.sh to support python3 modules in MON

Change-Id: Ieabbf723025aff6460ca88c8e6ecdbf4eef30729
Signed-off-by: kasar <pkasar@vmware.com>

Revert "Removes POL code from MON repo"

This reverts commit f315c3bf13c14d6a71c2909b4e4a8632f7df1c2e.

Removes POL code from MON repo

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Small fixes in Dockerfile, requirements and setup.py

Adds envs in Dockerfile
Adds version_command in setup.py
Cleans unused deps in requirements.txt

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Removes obsolete files

Removes OpenStack plugin tests logger config

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Merge "Removes call to .lower on vnf_member_index in alarm creation"

Merge "Reduces kafka log level to WARN"

Merge "Adds osm-common dependency"

Merge "Adds exception throwing when Openstack services missing"

Fixes recursive-include in MANIFEST

The MANIFEST was only including py and xml files from the osm_mon package.
The vROPs plugin uses a install.sh file to work. Added *.sh files to the
recursive include.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I23d5c844b6fbb99bbf41916cee2376a2c51fc6c6

Removes call to .lower on vnf_member_index in alarm creation

Currently this does not produce an error just because vnf_member_index
is been passed as a string in the kafka msg. Considering that in the IM
it is a integer, this may change in the future, in which case this would
fail. It also does not make any sense and can be considered a typo.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Reduces kafka log level to WARN

Kafka was producing a considerable amount of logs, which in some cases
caused disk space issues.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Id9a392ae881a8fff6ab8fe33b044370557adfeeb

Adds osm-common dependency

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I3fffdccba381b298d6d6d245d00f6db6b395b6a6

Adds exception throwing when Openstack services missing

Currently if MON can't find Gnocchi or Aodh services it fails obscurely.
Same thing happens if it can't find endpoints for those services in the
specified region. This patch adds throwing an exception in those cases
to ease troubleshooting.

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Multi-VIM support for vmware vROPs plugin

Change-Id: Ib4f3dfe0d3930f520fc217618b9ddf1e9b53cea5
Signed-off-by: kasar <pkasar@vmware.com>

Merge "[MON] Fixes notifier bug during alarm triggering"

Merge "[MON] Implements multithreading for message consumption"

Merge "[PM] Adds group-id to Kafka consumer in agent"

[MON] Fixes notifier bug during alarm triggering

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

[MON] Implements multithreading for message consumption

[MON] Fixes errors in OpenStack plugin integration tests

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ifbf85d5217244aa22655addd1a64c276746cda77

[PM] Adds group-id to Kafka consumer in agent

Fixes CPU spikes during OSM startup

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

[MON] Includes xml files in MANIFEST

Removes package_data from setup.py

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Fixes log format bug when alarm action not present

Signed-off-by: diazb <bdiaz@whitestack.com>
Change-Id: I08b8476c2ffc3c89554fe77a11dbaabbd221d071

[MON] Refactor of alarming section of OpenStack plugin

Refactor of alarming related tests
Refactor of notifier tests

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I6dcbe8488b9aafb19718b121aaca964831200434

[MON] Adds check for 'insecure' vim config param in Openstack plugin

Closes-Bug: Bug 504

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ib16af4bb3cad2a525b011a8d856311a534149442

Optimization of "list_metrics" function

Signed-off-by: gcalvino <guillermo.calvinosanchez@altran.com>
Change-Id: I815e0f11049d49ef0ed13e4180241923b4a58496

Optimization of "check_for_metric" function

Signed-off-by: gcalvino <guillermo.calvinosanchez@altran.com>
Change-Id: I1beb698c564b21f3340d9e67947fe1031f57dfe7

Adds more alarm parameters to alarm notification log

Signed-off-by: diazb <bdiaz@whitestack.com>

Adds vdu, ns, threshold and operation info to alarm notification

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Icbdfa11fa81bfda664e98d3cfc365ef1389fac46

Adds support for vdu_name and vnf_member_index in configure_scaling
message

Handles case when alarm is not registered in database
Adds typing check for methods

Signed-off-by: diazb <bdiaz@whitestack.com>
Change-Id: I6a36e4abf936f0634064e3e69d95e8b5e94c7a88

Modifies stage-archive.sh

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Adds support for vdu_name, ns_id and vnf_member_index

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I194753f7d581287dc85850378391dcf1585e78c3

[PM] Adds support for logstash

[PM] Modifies Dockerfile to optimize use of cache
[MON] Fixes py3 compatibility issue in Aodh notifier
[MON] Removes use of sudo in vrops webservice script

Signed-off-by: diazb <bdiaz@whitestack.com>
Change-Id: I93b4bb57f49238a57067cf035509c3e62da5ec2a

Adds vdu_id to message bus models

LB Dockerfile now uses Python3
Removes obsolete parameters from models
Refactors and fixes kafka integration tests
Refactors deprecated log warnings
Adds DATABASE env var to set MON database url
Fixes indentation and dependency issues in AWS plugin
Use open from io package for Python 2 and 3 compatibility

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: I70af22d2fbc2cb1bfd5d9632d9daa80e9d7f6b62

Adds granularity support in OpenStack vim config

Adds global config class in core
Reorders common_consumer conditional blocks
Adds support for OS_DEFAULT_GRANULARITY env var
Modifies tests to support changes

Change-Id: I873b8d24814825bff6e628092942bf16fa5e2a03
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Fixes loading of vim config in OpenStack plugin

Changes default value for region to RegionOne

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Removes git clone operation from Dockerfile

Adds use of COPY statement
Modifies Dockerfile to optimize use of cache

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Removed logstash references from code

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Merge "Adds yaml support in policy module"

Updated Dockerfiles for MON and PM to use pip-9.0.3

Change-Id: I20b59fb87ffdd0e3715dc1f0e8e188deea34c542
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Adds yaml support in policy module

Adds timeout for creation of alarm in mon client in policy module

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Merge "Get Metric_UUID directly from VIM Change-Id: I9b8c47b2fd7987f8834dc7c90e826d9d2789ce51 Signed-off-by: gcalvino <guillermo.calvinosanchez@altran.com>"

Get Metric_UUID directly from VIM
Change-Id: I9b8c47b2fd7987f8834dc7c90e826d9d2789ce51
Signed-off-by: gcalvino <guillermo.calvinosanchez@altran.com>

Adds yaml format in OpenStack plugin

Makes config property in vimcredentials optional
Fixes mapping name of average_memory_utilization metric
Adds support for config properties region_name and endpoint_type

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

adds yaml support in common consumer

Change-Id: Ia6ae411cd4c3ad074455c0cae32d198c89d0f52e
Signed-off-by: Gianpietro Lavado <glavado@whitestack.com>

Region Name and endpoint type as parameters - bug  fix

Signed-off-by: gcalvino <guillermo.calvinosanchez@altran.com>

Region Name and endpoint type as parameters

Signed-off-by: gcalvino <guillermo.calvinosanchez@altran.com>

1.code changes related to latest pyvcloud lib
2.Additional mock test cases for vROPs plugin

Change-Id: I89efd0e41a6822a9ff69b986b22d79624f820017
Signed-off-by: dhumal <kdhumal@vmware.com>

Adds Dockerfile

Adds script to generate config from env vars to use in Dockerfile

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>
Change-Id: Ia6cb61320465769f6e2b628212d32adddf27e2b9

MON installation with Dockers

Signed-off-by: gcalvino <guillermo.calvinosanchez@altran.com>
Change-Id: I9ebc5a1b604d8fae2258c5c9ad75d44c5b1b23c6

Merge "Fixes bugs for integration with policy module"

Adds license header to python files

Signed-off-by: diazb <bdiaz@whitestack.com>

Fixes bugs for integration with policy module

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Fixes bugs for integration with MON module

Signed-off-by: diazb <bdiaz@whitestack.com>

Policy Module first commit

Signed-off-by: diazb <bdiaz@whitestack.com>

Implements multivim support in the OpenStack plugin

Fixes bugs in OpenStack plugin and respective tests
Add table to database to keep track of relations between alarms and vim
credentials

Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Merge "Adds support for storing and getting vim creds"

Adds support for storing and getting vim creds

Adds support for vim account create operation
Adds local sqlite database
Adds AuthManager and DatabaseManager classes
Modifies integration tests

Change-Id: I0609b53835be94c8c36c12df905e09ce14eff3a7
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>

Merge "Additional mock tests for vROPs plugin"

Additional mock tests for vROPs plugin

Change-Id: I0c46fdbc860aaf92aa7e0425ab3d82283d648f19
Signed-off-by: bhangare <sbhangare@vmware.com>

Minor bugs fix

Also-by: gcalvino <guillermo.calvinosanchez@altran.com>
Signed-off-by: Benjamin Diaz <bdiaz@whitestack.com>