Feature 8681: Add VCA HA capabilities

- juju watcher: fix exception handling when websocket is closed
- libjuju.py:
  - Get vca endpoints from database (if exists)
  - Update vca endpoints in database
  - Get controller per operation (remove controller from class attribute)
  - Add health check: Every 5 minutes the connection to the controller will be tested.
- Dockerfile: update it to 18.04

Change-Id: Ifa0a3a705d48fd736a9634b0722bdc914003b497
Signed-off-by: David Garcia <david.garcia@canonical.com>

Revert "Tox doesn't like -"

This reverts commit d87303d18767a9c1d9d44357d1be392f41c3b723.

Reason for revert: This does not fix the problem.  Underlying root cause still unknown.

Change-Id: I1f012bcf03c63cd12c24e1ede18620834a81c0a5
Signed-off-by: beierlm <mark.beierl@canonical.com>

Adding python3-pip stage2 dependency

Change-Id: I39e5e196fb598570ddd7376a0b280379546fa271
Signed-off-by: Felipe Vicens <felipe.vicens@atos.net>

Tox doesn't like -

Removing the - character from the pylinttests environment as the
version of tox available via the build process does not work with
that character.

Change-Id: I46cffef33f07b474598b2c0badf508ee3ea7fd45
Signed-off-by: beierlm <mark.beierl@canonical.com>

Use default Previous Work Dir if there is none

When the folder where the working dir was is deleted
an Exception is thrown. In that case a new default
directory is defined.

Change-Id: Ic0b3eb63625fc6cf6e90e9a77891c9958b6a9aee
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>
(cherry picked from commit cbf4b78798f1c6535fa7a7caaaa9235fb9dc8e8a)

fix issue  storing status of k8s_helm_conn

Change-Id: Iab7d4b7d1cc944fe4d23fb1455823d0eb6798b33
Signed-off-by: tierno <alfonso.tiernosepulveda@telefonica.com>

Initial refactor of N2VC

- Add libjuju.py to encapsulate all code related with the communication using libjuju
- Replace juju_observer with juju_watcher
- Add utils with some utilities like EntityType, FinalStatus, and JujuStatusToOSM

Change-Id: I5d46ad65d6ed37b49bf2504209bfdd46d1b5a7e4
Signed-off-by: David Garcia <david.garcia@canonical.com>

Install iptables-persistent if it doesn't exist

Change-Id: I7535e7ff3b74236cd3c7e752244252481582d557
Signed-off-by: David Garcia <david.garcia@canonical.com>

Pin juju version to 2.8.1

Change-Id: Id40b3eeb698939131faf56fe008be335e6398cef
Signed-off-by: David Garcia <david.garcia@canonical.com>

Get series from machine

Currently the series when deploying a charm is hardcoded to xenial, when it should be retrieved from the machine.

Change-Id: I2784290dde803e276a77775ee57879897b1c523c
Signed-off-by: David Garcia <david.garcia@canonical.com>

Ommit public_key argument if None

With newer Juju versions the authorized-keys
argument is expected to not be None, therefore it
now has to be ommited as an argument if thats the
case.

Change-Id: I0adeda2ce71df5505cfaaab98ec237611918d9e7
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Change to sane default timeout

Changes the default timeout from ~28 hours to 1 hour.
Fixed syntax errors in two log messages.
Adds unit tests for timeouts.
Adds nose config to create Junit style output.

Fixes bug 1014

Change-Id: I7d1c2d28b397adc3ac638aa2366925dc744eade3
Signed-off-by: beierlm <mark.beierl@canonical.com>

Fix credential_name

Change-Id: I7eeed36b2f4d4cc47e8b2de56abcecaee24706f3
Signed-off-by: David Garcia <david.garcia@canonical.com>

Adds skipdist back

The merge has been failing, probably due to unmaintained distribution
code for debian packages that are no longer needed.  This patch
reinstates the skipdist step to tox.ini

Change-Id: Ia4134222f85075fda9e9a535493eb77ceabb855f
Signed-off-by: beierlm <mark.beierl@canonical.com>

Fix bug 1050: Make provisioner asynchronous

Change-Id: I19a47abbea81deff64698a16715f5fd7c9e6e8e4
Signed-off-by: David Garcia <david.garcia@canonical.com>

Fix missing import

Import was removed for flake8 compliance, but it was
needed at runtime.

Change-Id: I2c1fce7b681582382c3c8f74267c3010bfcd97d6
Signed-off-by: beierlm <mark.beierl@canonical.com>

Enable lint, flake8 and unit tests

Cleans up non pep compliant code.
Adds a simple unit test.
Formats according to black.

Tox automatically runs lint, flake8 and unit test suite
with coverage.  To run each individually, execute:

tox -e pylint
tox -e black
tox -e flake8
tox -e cover

Note that these are all run for each patch via Jenkins.  The full
tox suite should be run locally before any commit to ensure it
will not fail in Jenkins.

Change-Id: I2f87abe3d5086d6d65ac33a27780c498fc7b1cd3
Signed-off-by: beierlm <mark.beierl@canonical.com>

Check if cloud is built-in cloud when adding a model

Change-Id: Iad5f8e8f614898b2be38c6c40f97d6bbe97964cd
Signed-off-by: David Garcia <david.garcia@canonical.com>

K8s action support

This commit enables k8s actions by executing them the
same way as any other ns-action. It needs a mandatory
parameter which is application-name.

This commit depends on another commit in LCM.
https://osm.etsi.org/gerrit/#/c/osm/LCM/+/8767/

Change-Id: I375fb93d55f1255d425f229fe1a88968b19ae3d0
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

adding optional namespace to K8s install

Change-Id: Ib433aff72f68f56359917a8a3716e6b798ea330b
Signed-off-by: tierno <alfonso.tiernosepulveda@telefonica.com>

fix 1040 report error on failing delete_namespace
Do not capture asyncio.CancelledError
remove unneeded loging. e.g. certificates

Change-Id: Ia4f8c19bf693b689aeaaaeb76b006cd25c7295e1
Signed-off-by: tierno <alfonso.tiernosepulveda@telefonica.com>

Raise N2VCNotFound exception in delete_namespace

Change-Id: I57d8ab115b4efdee65af2ca1e951463359ef81de
Signed-off-by: David Garcia <david.garcia@canonical.com>

Add N2VCNotFound exception

Change-Id: I83702862086996adaefbfb9721f08f40bc943a44
Signed-off-by: David Garcia <david.garcia@canonical.com>

Fix bug 1039: Add config to install_configuration_sw

Change-Id: I6545d0d425f6cd0f20c0cba049b6c828128ab66a
Signed-off-by: David Garcia <david.garcia@canonical.com>

Fix bug 1049: Raise exception if model does not exist when destroying a model

Change-Id: I7bc64f296d6cff695511be77a5445241a1175d8a
Signed-off-by: David Garcia <david.garcia@canonical.com>

Fix bug 1018

- Only destroy manually provisioned machines
- Fix in the observer: check if entity is not dead
- Destroy applications

Change-Id: I2b79585775572ed99aaa7ad7fe053bb33424163f
Signed-off-by: David Garcia <david.garcia@canonical.com>

Add local k8s charms support

This adds the support to deploy Kuberentes Charm
Bundles that are available locally (directly
inside the vnf descriptor).

Change-Id: Ib2e191df5f905ba909f935f2005347d2cf83da74
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Feature 8720: Get leader unit to execute action

Change-Id: I745bdadd96e7af0c4ef00fc5c0b41e71708cb489
Signed-off-by: David Garcia <david.garcia@canonical.com>

Add multicloud controller support

This commit depends on 8702. As it needs
the cloud VCA config variable.
https://osm.etsi.org/gerrit/#/c/osm/LCM/+/8702/

Change-Id: If55cebd90ad69f0c09a4e6f27e63c1c5aff5d34f
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Fix logging in Juju K8s code

This fixes the logging in the juju k8s code base
which wasn't showing up in the LCM logs.
This logging follows the same standard as the rest
of LCM code base.

Change-Id: I569d2bc1e3c50e73ac9af129f1d59775b89cb3ca
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Standardize logging

This commit will standardize logging for all the code,
so that it follows the same format as LCM. The logging
for k8s_juju_conn.py is in commit 8638.

Change-Id: I0ea199018e96b167ecbf8fd1ab16e5065a2e2bdf
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Fix machine deletion when delete execution environment

Change-Id: If389f267e996af3b93ef0ba59444733ab4c7ed7e
Signed-off-by: calvinosanch <guillermo.calvinosanchez@altran.com>

Synchronize helm repos on ns instantiation instead of creation

Change-Id: Ia4f35283399d2777ff3df1fb2824a68cbaec4804
Signed-off-by: lloretgalleg <illoret@indra.es>

1000: Fix authentication when deleting service

This fixes 1000 where the creation of k8sclusters
was failing once a k8scluster had been deleted. This
was due to N2VC not logging out correctly from the
juju controller. Error handling was added to the
add_model funciton.

https://osm.etsi.org/bugzilla/show_bug.cgi?id=1000

Change-Id: I144ddf7ed16a3aa65e145459e49f41b9fd936353
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Merge "Revert "Bug 1000: Fix authentication when deleting service""

Revert "Bug 1000: Fix authentication when deleting service"

This reverts commit 4d193dc97be946877fc9b033e5d267b103a7cc45.

Change-Id: I231f152421c839d1604710bd0707a91c634fd0bc
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Merge "Bug 1000: Fix authentication when deleting service"

Bug 1000: Fix authentication when deleting service

This fixes bug 1000 where the creation of k8sclusters
was failing once a k8scluster had been deleted. This
was due to N2VC not logging out correctly from the
juju controller. Error handling was added to the
add_model funciton.

https://osm.etsi.org/bugzilla/show_bug.cgi?id=1000

Change-Id: I46f9a89e004c918b4f0104489ca4edfa7e386c95
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Fixed issue canceling status task

Change-Id: I29d842351f23f0464bc230e8b97dacf24edff0bd
Signed-off-by: lloretgalleg <illoret@indra.es>

Fix 1015. Remove non used paramiko dependencies at k8s_helm_conn

Change-Id: Id5c6333fb7feac8dce85f87641676771f346d062
Signed-off-by: tierno <alfonso.tiernosepulveda@telefonica.com>

1007 Use KDU name and NS id for model names

This commit is part of the fix for Bug 1007. Previously
The wrong naming was used in the uninstall function and
it was deleting each application one by one. Now the whole
model will be deleted automatically.
This commit is dependent on this one in LCM:
https://osm.etsi.org/gerrit/#/c/osm/LCM/+/8555/

Additionally the naming for models has changes so that
each KDU gets is own model with the following naming:
<kdu-name>-<ns-id> . This will fix multi KDU support.

Change-Id: I912105417d67d5f3d95b997b91d7a5b7388bdf0d
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

fix 1010. Proper exception handling when looking for used kdu name

Change-Id: Ieaa07ddd0dcd3901a242665ef8306e6f08b23c3a
Signed-off-by: tierno <alfonso.tiernosepulveda@telefonica.com>

k8s_juju_conn.py: fix cloud name for k8s

Change-Id: Id0e605f010306bd71728e1335636340674bbfb2d
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Fix bug 996. Error status when cluster is not ready

Change-Id: I194932ac67aa9a04a1fd4a7e4789103b13477e6e
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Generate names for K8s pods when file or url

Change-Id: I99e50cda65df2462c90775eb84a096232428ffc4
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

juju relations implementation

Change-Id: I1ed4744e5d616a7674fb8232041aa64820a322f0
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Fix bug 1002

This patch fixes bug 1002 by using the async-friendly `asyncio.create_subprocess_exec` instead of `subprocess.run`.

Change-Id: Ie290e3f879ee83345c0b783116ef2f1e8982e537
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Destroy machines before destroying the model

Change-Id: If42c99ac9ec88a492d89a201f12a93872a476783
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Merge "Add check for local k8s"

Add check for local k8s

Change-Id: Ib408bb3d2412c064cb8ad14c3ff16fd537d84a49
Signed-off-by: David Garcia <david.garcia@canonical.com>

Quick deployment of charms: added apt_mirror and enable_os_upgrade model config options

Change-Id: Ied84a77d43aa02314c6e24a17148af1b19d76993
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Changes in NS and operation status

Change-Id: I649c19f13e2679163f5ea993f91368cc1c433208
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Use NS uuid when creating a juju k8s model

This commit fixes bug 972, previously it was using the namespace
value that was always assigned to kube-system. This caused an error
in Juju due to kube-system already existing.
https://osm.etsi.org/bugzilla/show_bug.cgi?id=972

Change-Id: I840d65ef9991f64eba42a205900d42cb0a9bbeef
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Fix bug 957: Return pubkey properly

Change-Id: I1265e972ee0a085733c5597dc2c793021713ee62
Signed-off-by: David Garcia <david.garcia@canonical.com>

Workaround bug 936

Apply a workaround for bug 936 that shortens the vnf and vdu id to no more than 12 characters, to keep the application name under the juju limit of 50 characters

Change-Id: I2bb49032f9f3432d304139b6e6b5ae0f62dc2a2a
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Fix flake8

Change-Id: Ia81b37958ab03630cf9f3c65ab1ec59a95f82d68
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Fix rjust error. Adding K8sException

Change-Id: I778f74d0f059954225deb0371edf191f134cfed1
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Merge "Add missing argument in notify_callback"

Juju/k8s fixes

Fix how non-microk8s clusters are bootstrapped

Change-Id: Idf771fdd4d14f2876e0107f1d636eabc5169e170
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Add NotImplemented exception

Change-Id: I5b94d60c9ce166163d5320cbbdef2cc0a549468f
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Sync with k8s api

Updates to sync with changes to the underlying k8s API

Change-Id: I8c4022c9783a1c87c7c61a36074a614d211d0c81
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Adding inspect methods for K8s

Change-Id: I45fba22073e7dfdfab2f3a1d1cca1f0705145e0c
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Fix native charms for feature 7928

Change-Id: Iba37a42152b2674c80bd887b2761827ffa19e4a8
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Add missing argument in notify_callback

This fix is related to bug 866 and caused an exception when
the charm was not found. Nonetheless it did not fix the bug.
https://osm.etsi.org/bugzilla/show_bug.cgi?id=866

Change-Id: I641834461ac508eac131c32a4c4ef3557e192b1a
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Add License headers to all code files

This was related to bug 547
https://osm.etsi.org/bugzilla/show_bug.cgi?id=547

Change-Id: Ief72f6e3b3de828be033729298ae905d163c6988
Signed-off-by: Dominik Fleischmann <dominik.fleischmann@canonical.com>

Merge "Update deprecated use of yaml.load"

Update deprecated use of yaml.load

Update the deprecated use of `yaml.load` without a loader, replacing it with a call to the sugar method `yaml.safe_load`. See also: https://github.com/yaml/pyyaml/wiki/PyYAML-yaml.load(input)-Deprecation

Change-Id: Ia5b591349ba6da4260545335315d3d07191f76cf
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Update to use safe_load

The use of a bare yaml.load with no Loader is deprecated. Use the sugar shortcut safe_load per https://github.com/yaml/pyyaml/wiki/PyYAML-yaml.load(input)-Deprecation

Change-Id: I856d4263fcf20453157f9d3835289e665d1664bf
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Revert change 8b1bcf0

Change-Id: I85fd9a038aa123eaf9b216e9d15f709cef7a808a
Signed-off-by: tierno <alfonso.tiernosepulveda@telefonica.com>

minor fix in yaml load with Loader

Change-Id: I1bc0e7197f6057c942490b710fbaf25013202ecb
Signed-off-by: tierno <alfonso.tiernosepulveda@telefonica.com>

Merge "Added description to package"

Merge branch 'feature7928'

Change-Id: Iccb5e5fa854394da873b9c8c3bade3358f9db6f0
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Merge branch 'feature5837'

Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>
Change-Id: I31abc0d7de97c1dd3fb45fd7798fbab5d1bad5b4

Merge "Revert "Revert "Remove vendored libjuju"" Major code clean-up, approved by TSC"

New N2VC API: generic connector and juju connector

Change-Id: Ib53fc2eaae4287a34a36f03f654ce2076feaad01
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Revert "Revert "Remove vendored libjuju""
Major code clean-up, approved by TSC

This reverts commit e2051cca7dac12aa09f6ed33555dcc4548c4b52b.

Change-Id: I567a594bebfe56e31f68df92a828839a56948223

Enhancements K8s helm connector

Change-Id: If7619c257d3e64b54c1268bf0b5c51712a5586f5
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

Merge "Revert "Remove vendored libjuju""

Revert "Remove vendored libjuju"

This reverts commit 9d18c22a0dc9e295adda50601fc5e2f45d2c9b8a.

Change-Id: I7dbf291ccd750c5f836ff80c642be492434ab3ac
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Merge "Remove vendored libjuju"

Remove vendored libjuju

This removes the vendored libjuju, in favour of using the upstream version.

Change-Id: I4da23f04fad665502951a70653b894c82349bad3
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Added description to package

Change-Id: I9d1652652cec61390a5988ee265d01f520c1c099
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Merge "K8s Juju connector" into feature5837

K8s helm connector

Change-Id: I5332ec8e053643bc582f7979af98b46a3f9f31ee
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

K8s generic connector

Change-Id: I7c7879d556783785f5510dcf0e63d8f6dda43d2c
Signed-off-by: quilesj <e.nvi001.tid@telefonica.com>

K8s Juju connector

Juju connector for Kubernetes

Change-Id: I2a020aa55840dd7e76391d7ad751be7c56db5eeb
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Update exceptions

Add NotImplemented exception and fix flake8 issues (spacing)

Change-Id: I675ff7156084c41f1dc3b5ed4823f237e0835ad1
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Add license to Jenkinsfile

Add the Apache 2.0 licence to the Jenkinsfile to prevent it from
blocking other commits during license check

Change-Id: Id2322477090f62aea8cd881f441626e8d8ce2e8d
Signed-off-by: Adam Israel <adam.israel@canonical.com>
(cherry picked from commit fbac7c59fe1c3bbfefc070ca8b7f719cf0fd626a)

Add license to Jenkinsfile

Add the Apache 2.0 licence to the Jenkinsfile to prevent it from
blocking other commits during license check

Change-Id: Id2322477090f62aea8cd881f441626e8d8ce2e8d
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Accept None for parameter ca_cert at vnf.py: N2VC.__init__
To be backward compatible with old LCM versions

Change-Id: I05c90d329051f948a569c17e0864a4c2123c28b0
Signed-off-by: tierno <alfonso.tiernosepulveda@telefonica.com>

Modified Jenkinsfile to disable TEST_INSTALL in branch feature7928

Change-Id: I9cee170bee8768e70236f4d76f4df21a210620ed
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Modified Jenkinsfile to disable TEST_INSTALL in branch feature5837

Change-Id: I759488f508eb38716ccbcbf56e15e47f5c1fb18d
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Remove dependency on vendored libjuju

This patch removes the dependency on the embedded version of libjuju,
instead relying on the upstream library.

Change-Id: I88bd762006e5a182eaea74b5eba636ad03d524b0
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Fix provisoner timeout

Run `apt-get update` before attempting to install a package, for cloud
images without an apt cache.

Change-Id: Id67a347d90edbaa862a6d9c48ed1613f3fe2ad0d
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Native charm support

This patch adds a provisioner which will prepare a VM, via SSH, to run the Juju
agent, enabling a native charm to run on the VM.

Change-Id: Icd5d873a12e2d7b2e7cb5424e87d8083a7921c16
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Workaround for bug 816

Identified the root cause of bug 816 as a race condition in Juju 2.6.6,
which will be fixed in the pending 2.6.7 release. In the meantime, this
adds a workaround to dealing with the race condition by sleeping
immediately after the model is created.

Change-Id: Ief3d0bffe51cef0736f9819a2934e62412584fe4
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Fix provisoner w/non-ubuntu user

This fix allows for a non-ubuntu user to be used to provision a machine
for full charms.

Change-Id: I9491b6f0ca8391208f967e88b02a2c18cdd7ced5
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Fix bug 760

This commit fixes bug 670 by introducing a new PrimitiveDoesNotExist
exception that will be raised if ExecutePrimitive is called but the
primitive does not exist in the charm.

This also bumps the required version of websocket to match libjuju,
along with other minor tweaks to the test framework

Change-Id: I028c3c9c19fbfa87c8feb788446a290d66112043
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Fix reference to information model

This fixes a bug where the information model for relations was referred
to as "vca-relations" rather than the proper "vca-relationships".

Change-Id: I3f961ab750df647e2d2086e887d7e9ac0a01c034
Signed-off-by: Adam Israel <adam.israel@canonical.com>

Add missing dependency

Add a missing dependency on pyasn1

Change-Id: I0d16d627ffd174640ff6985d801b4035fc8fd94a
Signed-off-by: Adam Israel <adam.israel@canonical.com>