Added a script example for a performance evaluation of charm deployment

Change-Id: Ia70a7b7774a35d3b5d0363af4ae103be09580113
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Fix: Changed LLCM to use gevent

Change-Id: I232e529cd0b35614c697e9c41d12b9b62955a87a
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Do monkey.patch_all() only once.

Change-Id: I6d32a318e73adc0679303cdada5da79acfb7b744
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Added gevent monkey patch to fix issue that blocks
the servers of the LLCM and REST APIs.

Change-Id: I4d16ce4ae5e3d51892fe202ec7cf454e54096aca
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Merge "Ensure timely termination of all flask servers"

Ensure timely termination of all flask servers

1. The chain_api was never terminated. This was fixed by turning the
server into an pyWSGI instance.

2. no monkey patching was applied. The monkey patching of gevent is
required in order to be able to handle other events during a
time.sleep() call. Since multiple patching is detected, it was added to
all files which create WSGI servers.

All in all this change fixes a large leak of threads, open files and
performance.

This change updates Containernet in order to fix race conditions which
otherwise happen due to gevent's monkey patching.

Change-Id: Ia45ad07db1f85046bfcac85eaca20c930b931141
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Added example for parallel NS deployment performance testing

Change-Id: I6722c8cad0984695651a2f52dcda257380992155
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Merge "Provide API for allowing full stack emulation"

Also support the usual CMD field in images

For backwards-compatibility the SON_EMU_CMD/VIM_EMU_CMD commands still
surpress this, but otherwise the usual ENTRYPOINT + CMD logic should be
working with this + commit 83b52502743eb29e5e0b8e33e6aa119a5005c676 in
containernet.

Since the caching of the build server prevents a automatic Containernet
update to latest master, an explicit commit hash is given. This will
allow explicit updates when required while still supporting caching.

Comment wording above checkout is from Manuel Peuster.

Change-Id: Ic01f87acb5f9e79d09baae499f3d353c2c0aca9e
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Provide API for allowing full stack emulation

This commit adds an API in order to emulate the full OSM stack. Different
levels of API are added in order to allow flexible scenarios.

The lowest level API only wraps the required components in containers.
The next higher level also abstracts the composition of these low-level
into a working OSM instance.
The third level also abstracts the emulation and configuration of the VIM
layer.

Examples are added for each abstraction level.

Implements Feature 7291.

Change-Id: I156f6625d4ff4010d688c41419c4ece03a339937
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

5GTANGO LLCM: Allow port publishing for containers from CNFDs.
Issue: https://github.com/sonata-nfv/son-emu/issues/295
Closes #295

Change-Id: Iff2daf07b8a2070676c6f7240869dee6be103bbf
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Merge "Support (simple) classifiers"

Merge "Log ryu commands at debug level"

Support (simple) classifiers

In order to support classifiers, each flow entry needs to specify the
classifier's parameters within its match rule. This means that the
created rules do not only depend on the ingress and egress port, but
also on the classifier (this required to move the creation code into the
flow classifier loop).

Change-Id: I96817255580462e0ffb570b025b6f912f2d00b13
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Log ryu commands at debug level

Change-Id: I0922f941367a123aae156ed6014a544b490b776f
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Print the flake8 version during build

Change-Id: Ieb1b202936c3cfea7d29a7b8ad4bd67a84b9e06f
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Fixed logging of ryu errors

Change-Id: I61dd313a947a9fa857f0dca849bfd8294aeedae0
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Update MAC address to match the next hop

If the mac address is not updated the receiving host will reject the
packet since it sees a MAC address which does not belong to him.

Change-Id: I95edc11572b2ada8841b504ed8eee743613cce09
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Do not tag outputs with VLANs for SFC

this otherwise leads to packets being wrapped within 802.1Q packets,
which do not get popped before forwarding to a service. Thus, services
do not respond to ARP, PING and alike.

Change-Id: I7f29b5094f9bd33661e8f2862c8656c0f9a08a6b
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

5GTANGO LLCM: Preliminary fix of the E-LINE configruation.

Change-Id: I9092a09837fc941eb8e47da7b6a12140d2a952a3
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Create flow table entries for classifiers

Only the source port is considered for now, leading to all outgoing
traffic being routed along the path.

Change-Id: I1752494f5face135fe159bd69f9080a8d614f7e7
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Fixed port chain direction and linking

Given a port chain of two port pair groups ppg1 and ppg2, which each
consist of a single port pair (ppg1=[pp1], ppg2=[pp2]), where
pp1=(ingress: p1, egress: p2), p2=(ingress: p3, egress: p4) the
following forwarding chain was generated:

    /----\ /----\
    | s1 | | s2 |
    \i--e/ \i--e/
     v  ^   v  ^
     |  |   |  |
     \--/   \--/

This, for once, mixed ingress and egress, but also did not actually link
the servers.

This patch corrects the linking to:

    /----\ /----\
    | s1 | | s2 |
    \i--e/ \i--e/
     ^  v   ^  v
     |  |   |  |
    -/  \---/  \->

Change-Id: Iabc48a6950f864562a93f8d17f41890598d65ac6
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Do not spam the logs with server names at INFO level

This logged two lines at INFO. I guess DEBUG and a single line suffices
in this case.

Change-Id: I88a04299571779066c6ca7a0bd8389ae3f40fe31
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Unified command execution in Docker containers.

Also adds a hotfix for a broken test execution based on
an issue with a used library: https://github.com/pytest-dev/pytest/issues/4770

Change-Id: I54aade1eda31cb2584641b95226fbf39d9d298f4
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Throw error if SFC ports are not found on servers

This breaks the port chain creation and most likely reveals some kind of
implementation error elsewhere.

Change-Id: I907eb5e828f80ae5ab12de851a98f3c19c9c2d5b
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Support identical ingress and egress ports in port pairs

Change-Id: Id58c428594b115a5e343a7b2c701f2ddddb89f81
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Also compare ids against a server's ports

The server's port list may contain ids, thus those also need to be
compared.

Change-Id: I2e53c111a22009b6c791abc9e52f28afa96d5b0a
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Return empty `service_function_parameters` field for port pairs

OSM tries to delete this and fails if the field does not exist

Change-Id: I5a65d796f0025c06c7f9367c6d4f806bab893740
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Allow filtering ports by device_id

This otherwise leads to errors in RO, which checks whether the ports of a
specific instance are created.

Change-Id: I563dc84db299e6148b7970e8c9716460653c6b48
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Allow multiple ports to exist with the same name

Ports in OpenStack may very well have identical names. In fact this is
almost guaranteed when deploying network services with multiple identical
VNFs.

Change-Id: Iba196e64be329c376eca9f34c7b2cbcdfd569a3e
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Merge "Allow filtering of the port chain list by id"

Simplified and stabilized ryu launch

The rest app only considered a single fixed filename rather than simply
relying on the existing loading mechanism.
For better clarity some variable names were renamed and logging now
outputs the full ryu-manager command.

Change-Id: I35ac86159880acc71d460df7db95e1b244c82eb3
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Allow filtering of the port chain list by id

Change-Id: I2d81c3836fe0b0d1ad9429922b59d42b4eab68f3
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Fix: Flake8 seems to have changed. This fixes a code style issue in an old file preventing the CI to succeed.

Change-Id: I0e48166df7a24b53fa3215241d9b515fdd6343b5
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: 5GTANGO LLCM now correctly applies resource limits.

Change-Id: I5c40898b58c5fc00c60a9ad16483feb4748914a7
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: 5GTANGO LLCM now correctly terminates servies.

Also adding an example topology for 5GTANGO experiments.

Change-Id: Ibb5565814e448569d3d7e7a8a28a3ed5bd45af7f
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

5GTANGO LLCM: Allow service instanceiation by service_name.

Change-Id: I924a1aa3a0e8f852e19a44471630348de176ea5a
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

5GTANGO LLCM: Refactoring, cleanup

Change-Id: I725c34723ca431c1544f64edd6e01cb70cacad85
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Extended networking parts of 5GTANGO LLCM to fully support
E-Tree and E-LAN networks in multi-V/CDU deployments.

Change-Id: I108858358267c3e72db2d3f0a787b6d92965aa93
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Feature #290: Multi-VDU support for 5GTANGO LLCM. VUD deployment works.
Update of networking parts are still missing.

Change-Id: Icd987f6aa0d195cb5e7483c777662675e0600c51
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

5GTANGO LLCM: Added VNFD-based start/stop command injection.

Change-Id: Ie9189fff90e7b972554d20d48b019ea0b33b4116
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

5GTANGO LLCM: Refactoring and basic support for CNFs. #291

Change-Id: Iebd17b2bbf310faa41354ad053140bf1d2d42633
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Return actually reachable IP as part of the Floating IP API

The Floating-IP list API is only ever queried for getting the IP assigned
to a specific port (if vim-emu is added with the manual floating-ip
assignment turned off). Thus, the previous solution lead to fixed IPs being
returned (which are not reachable).

This solution tracks the assigned container for each port in order to be
able to return the public IP assigned by docker.

This is not perfect in the sense that multiple ports do not receive
different floating ips, but at least the containers are actually reachable
now.

Change-Id: I233e5de35b3b7e7350faaef017711f7c1e919fff
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Fix: Made ping pong example working with upcoming R5.

Change-Id: I415dd3c6ac8163d4ba2a3a3fe85600acc06430b7
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

added contributor to readme

Change-Id: I65e2e7f7af8f33689d42705ebcceaa0171dc9303
Signed-off-by: schneiders <stefan.schneider@uni-paderborn.de>

Ignore virtual environments when building docker images

.mailmap trickery is done with the hope of satisfying author ship
mapping scripts.

Change-Id: I47ab56335ed981b3f6d507f16823461d793896f9
Signed-off-by: schillinge <ablu@mail.uni-paderborn.de>

Fix: Fixes broken installation because of third party library update.

Change-Id: If94adb111ae5bf89f977ad857807f89ee61f71d8
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Improved IP/E-Line management of 5GTANGO LLCM.

Change-Id: I8e0c9d00e7470ef73b83d7e7d5bfde898116f632
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Minor improvements in 5GTANGO LLCM module.

Change-Id: Ia1236038f1d25118d7b97574a50e306c9d19fed8
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Merge "Modified LICENSE file to be the same in all repos"

Fixes bug 553: Missing license headers

Change-Id: I8fd3d74a242fa52d93b82840b5deea393f8f17a9
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Modified LICENSE file to be the same in all repos

Change-Id: I18b4c3a9e42ece62a4c4e386720754d6abc585c7
Signed-off-by: garciadeblas <gerardo.garciadeblas@telefonica.com>

Merge "Added 5GTANGO lightweight lifecycle manager (LLCM)."

Added 5GTANGO lightweight lifecycle manager (LLCM).

This (optional) module allows to directly deploy
5GTANGO service packages on the emulator. This
allows for very quick prototyping of small 5GTANGO
services. It is a copy of the old SONATA DummyGatekeeper
component.

Change-Id: I61d8e5b5a4e0f682a52316de7330d95cf794a4a1
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Made Glance-fake API more robust in
environments with many registered Docker images.

Change-Id: I27880b3530da088ab83a5bb5eb8d2946639d7ee0
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Made OS Glance fake API compatible to latest pyhton-glanceclient.

This fixes a major bug that broke the integration between OSM and vim-emu.

Change-Id: I5a92417ccbf919d5e160ac5b2c66a88f3c7d6fe5
Signed-off-by: peusterm <manuel.peuster@upb.de>

Moved examples folder to project root.

Change-Id: I1ba8b7e753f0e1454555ecff18914bb977d224dd
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Improved test triggers for unit tests.

Change-Id: Ib3a886da8a6f181fc04f4b6b4a42230deac79d4d
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Made port deleteion more robust. Do not rely on IPs of ports only on names.

Bug was discovered during R4 int testing and does only appear in some border cases.

Change-Id: I6e9d4ca0e131486bee3592ceb71101f5a593a357
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Refactoring: Made complete codebase PEP8 compatible.

Only PEP8 rule E501 (line too long) is not yet reflected
by this change.

The patch also adds automated code style checks to the
CI test stage using flake8.
It will let the tests fail if there is a code style
violation.

Change-Id: I90956dd424a46691546ef720351757d3c43451a7
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Crashbug that was caused by an import of an
outdated module that was removed from Gevent 1.3 that
was released two days ago.

Change-Id: I44dff2b468456ed2c24fa8e326ebc535bb04344b
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: hackfest_1 deployment using OSM LB returned
and network not found error. This fix ensures that
some default networks are always available for OSM.

Change-Id: I0ae791d64c527ea451b406452619d04e6f3b98af
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Instantiate the same NS without emulator restart

Fixes a bug that causes the emulator to not properly clean
its internal data structures when a NS is deleted. This could
cause errors when a NS should be instantiated again, without
restarting the emulator.

Change-Id: I8a0be1f28b889f2c01e7ef859acd6bdcc35b8b9d
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Added emulator-compatible services and VNFs for R4 integration tests.

The emulator needs slightly modified test NSDs and VNFDs
to work with. This commit adds such examples based on the
official hackfest_1 and hackfest_2 services.

These example descriptors/packages are also used for the R4
integration tests with vim-emu.

Change-Id: Ief26dbdbb15dc973e7563923394d7e7e90579fab
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Pingpong example for OSM-to-vim-emu deployments.

This commit cleans up the outdated emulator examples
from the SONATA project and adds example VNFs (ping and pong)
as well as a corresponding NSD as an up-to-date
example that is tested with OSM rel. THREE.

The added example service and VNFs is used by the
end-to-end example documented in the OSM wiki.
Goal is to give users an pre-defined example on how to
on-board and instantiate a network service on the
emulator using OSM.

Also improved README.md.

Change-Id: I45a00f1b6acf1664a96b22e21be4c23612f581cf
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: HTTP 204 response must not contain any payload.

Change-Id: Ib2fed74478233851e50f438c241b97bd949325d0
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Merge "Added example topology for daemonized execution."

Added example topology for daemonized execution.

Allows to run vim-emu in a daemonized Docker container
and allows to shut it down gracefully using docker stop.

Change-Id: I49e92a670ed8cba1de64a2e896e6bb87839c16d5
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Better name-handling of Docker-based VNFs

There was the risk to run into naming conflicts when a
larger number of VNFs was started in the emulation platform.
This patch resolves these problems by using short, hash-based
names for the emulated VNFs.

Change-Id: I958dd469e5494223fe7f1f274bc10e0714b3df90
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Added Dockerfile-based entry points to REST API.

Allows the user of the emulator to specify entry point
scripts for their VNF containers inside the Dockerfiles.

The emulator automatically runs these scripts when a new
VNF is started using the emulators REST API.

Change-Id: I2cb42f1cc33f7ae4ba6fc4e7a05d7dff0f7046c2
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

OpenStack API: Replaced Flask with WSGI

Flask server introduced a couple of problems, e.g., pending
sockets when an experiment was shut down.
This patch solves this and improves stability and performance
of the emulated OpenStack APIs.

Increased PIP timeout in Dockerfile to make build more
robust in CI environment.

Change-Id: I54e040c56a10075555d13fe6fb144fc117340026
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

CI/Jenkins stage 2 integration of vim-emu

Added Jenkinsfile and stage-test.sh to trigger vim-emu's
unittests using Jenkins. The stage-build script is a placeholder
since the installation is done during the container build
process (see Dockerfile). stage-archive is not yet done.

Requires the following change in the devops repository
to allow privileged container execution in stage_2:
https://osm.etsi.org/gerrit/#/c/5624/

Change-Id: Ib140294b68b70b03e66f0f5d2bc11cd19d8777ca
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix: Use networkx 1.11 due to major API change in recently released networkx 2.0

This is temporary until we migrated to the latest networkx API.

Change-Id: Id735686098c8d8ab03f40f648d10aff31ba87129
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Fix/cleanup: Added missing license headers and removed unused files.

Change-Id: Ibaf91b89e3b1dc13a50130bb2bd0a22afc6ec19e
Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Merge pull request #255 from mpeuster/osm/master

Prepared README.md for migration to OSM repository

Fixed: Changed installation repos, etc. in README.md to new OSM repo

Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Changed package names, links, etc. for OSM migration

Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

README cleanup for OSM migration

Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Merge pull request #254 from mpeuster/osm/master

Osm/master

Merge branch 'docker-build' into osm/master

Modified CI integration.

Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Merge branch 'docker-build' into osm/master

Fix: Jenkins worker don't have a TTY. Do not run the test container with "-it".

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Fix: Try to run tests in a Docker-only environment.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Migrating CI tests to be executed inside Docker container

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Fix: Missing ping tool causes unittests inside Docker to fail.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Merge branch 'docker-build' into osm/master

Cleanup: Removed outdated Dockerfile and docu.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Cleanup for OSM: Removed outdated CI integration scripts.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Added dockerized deployment as third official deployment method. Created a new Dockerfile that uses the Ansible-based installation so we still need to maintain only one installation script. The old Dockerfiles in "utils" is deprecated.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Added dockerized deployment as third official deployment method. Created a new Dockerfile that uses the Ansible-based installation so we still need to maintain only one installation script. The old Dockerfiles in "utils" is deprecated.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Added a default topology that is automatically called in dockerized deployments if no other topo is specified.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Fixed missing license headers

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Fix: Removed more zeromq dependencies.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Removed outdated zerorpc API.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Fix: Fixed a lot of small things in the README.md

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Fix: Let Jenkins script call unitttest. Added link to examles.

Signed-off-by: Manuel Peuster <manuel@peuster.de>

Merge branch 'master' of github.com:mpeuster/son-emu

Removed GitHub page folder. We skip this.

Signed-off-by: peusterm <manuel.peuster@uni-paderborn.de>

Merge pull request #245 from mpeuster/master

Fix: Docker build was broken due to double urllib dependecy.