projects / osm / tests.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
Adding Basic_28 Keep persistent volumes robot test
[osm/tests.git] / README.md
diff --git a/README.md b/README.md
index f7245e6..03d6054 100644 (file)
--- a/README.md
+++ b/README.md
@@ -39,50 +39,15 @@ PACKAGES_FOLDER=osm-packages
 git clone https://osm.etsi.org/gitlab/vnf-onboarding/osm-packages.git ${PACKAGES_FOLDER}
 ```
 
 git clone https://osm.etsi.org/gitlab/vnf-onboarding/osm-packages.git ${PACKAGES_FOLDER}
 ```
 
-Configure a file `envfile.rc` copying from `envconfig-local.rc` and set the required variables
+## Configure the environment
 
 
-```bash
-# VIM Setup
-OS_USERNAME=<openstack_username>
-OS_PASSWORD=<openstack_password>
-OS_TENANT_NAME=<openstack_tenant_name>
-OS_AUTH_URL=<openstack_authorization_url>
-OS_TENANT_ID=<openstack_tenant_id>
-
-# OSM Setup
-OSM_HOSTNAME=<osm_ip_address>
-VIM_TARGET=<osm_vim_name>
-VIM_MGMT_NET=<osm_vim_mgmt_name>
-
-# Clouds file datacenter
-OS_CLOUD=<datacenter_in_clouds_file>
-# SDNCs file
-OS_SDNC=<SDN_controller_in_sdncs_file>
-
-# K8S config file
-K8S_CREDENTIALS=<path_to_kubeconfig>
-
-# The following set of environment variables will be used in host
-# of the robot framework. Not needed for docker execution
-
-# Folder where Robot tests are stored
-ROBOT_DEVOPS_FOLDER=robot-systest
-
-# Folder to save alternative DUT environments (optional)
-ENVIRONMENTS_FOLDER=environments
-
-# Folder where all required packages are stored
-PACKAGES_FOLDER=osm-packages
-
-# Folder where test results should be exported
-ROBOT_REPORT_FOLDER=results
-```
+Create a file `envfile.rc` copying from `envconfig-local.rc` and set the required variables.
 
 ## Running the tests
 
 ### From the host machine
 
 
 ## Running the tests
 
 ### From the host machine
 
-If you have installed all the dependecnies, the way of executing the tests is via the following command:
+If you have installed all the dependencies, the way of executing the tests is via the following command:
 
 ```bash
 source envfile.rc
 
 ```bash
 source envfile.rc
@@ -91,7 +56,7 @@ robot -d reports -i <testing_tags> testsuite/
 
 ### From docker container
 
 
 ### From docker container
 
-It is possible to run the tests directly from the repository or using a docker container with the tests
+It is possible to run the tests directly from the repository or using a docker container with the tests.
 
 Create the docker container:
 
 
 Create the docker container:
 
@@ -128,7 +93,7 @@ docker run --rm=true -t osmtests --env-file <env_file> \
 
 ### From an environment identical to OSM CICD
 
 
 ### From an environment identical to OSM CICD
 
-````bash
+```bash
 git clone https://osm.etsi.org/gerrit/osm/devops
 git clone https://osm.etsi.org/gerrit/osm/IM
 git clone https://osm.etsi.org/gerrit/osm/osmclient
 git clone https://osm.etsi.org/gerrit/osm/devops
 git clone https://osm.etsi.org/gerrit/osm/IM
 git clone https://osm.etsi.org/gerrit/osm/osmclient
@@ -180,6 +145,8 @@ The following tags exist for each testsuite:
   - `cluster_k8s_charms`: `k8s_05`, `k8s_06`
   - `cluster_sa`: `sa_01`, `sa_02`, `sa_07`
   - `cluster_slices`: `slice_01`, `slice_02`
   - `cluster_k8s_charms`: `k8s_05`, `k8s_06`
   - `cluster_sa`: `sa_01`, `sa_02`, `sa_07`
   - `cluster_slices`: `slice_01`, `slice_02`
+  - `cluster_heal`: `heal_01`, `heal_02`, `heal_03`, `heal_04`
+  - `cluster_sol003`: `sol003_01`
 - daily: for all testsuites that will run in the daily job
 - regression: for all testsuites that should pass in the current stable branch
 - sanity: for all testsuites that should be passed by each commit in the
 - daily: for all testsuites that will run in the daily job
 - regression: for all testsuites that should pass in the current stable branch
 - sanity: for all testsuites that should be passed by each commit in the
@@ -192,17 +159,45 @@ the tests were forcefully stopped.
 
 - For helping in the migration tests and other scenarios in which you don't want
 to destroy the deployments immediately, the following tags are used:
 
 - For helping in the migration tests and other scenarios in which you don't want
 to destroy the deployments immediately, the following tags are used:
-  - prepare: for the tests that are used to deploy the network
+  - `prepare`: for the tests that are used to deploy the network
   services under test
   services under test
-  - verify: for the tests that perform the actual testing, or changes for
+  - `verify`: for the tests that perform the actual testing, or changes for
   additional verifications (e.g. scaling).
   additional verifications (e.g. scaling).
-  - cleanup: already described above.
+  - `cleanup`: already described above.
 
   So, for instance, you could first deploy a number of network services executing
   the tests with "prepare" tag, migrate to another OSM version, and then
   check the behavior executing with the "verify" tag. Finally, use the "cleanup"
   tag. 
 
 
   So, for instance, you could first deploy a number of network services executing
   the tests with "prepare" tag, migrate to another OSM version, and then
   check the behavior executing with the "verify" tag. Finally, use the "cleanup"
   tag. 
 
+## Post-processing Robot output files
+
+The output files of Robot include tyipically three files:
+
+- `report.html`: overview of the test execution results in HTML format
+- `log.html`: details about the executed test cases in HTML format
+- `output.xml`: all the test execution results in machine readable XML format
+
+More information about these files [here](https://robotframework.org/robotframework/latest/RobotFrameworkUserGuide.html#output-file).
+
+It is possible to use the tool `rebot`, included as part of the Robot Framework, to post-process the output file `output.xml`.
+
+```bash
+# To re-generate log and report from output.xml:
+rebot [-d <output_folder>] output.xml
+
+# To re-generate log and report (and optionally new output.xml) to include only certain tags:
+rebot [-d <output_folder>] -i <tag1> -i <tag2> ... -i <tagN> [-o <new_output_xml>] output.xml
+
+# To re-generate log and report (and optionally new output.xml) excluding certain tags:
+rebot [-d <output_folder>] -e <tag1> -e <tag2> ... -e <tagN> [-o <new_output_xml>] output.xml
+
+# To merge several test executions:
+rebot [-d <output_folder>] --merge output1.xml output2.xml ... outputN.xml
+```
+
+More information about post-processing Robot output files [here](https://robotframework.org/robotframework/latest/RobotFrameworkUserGuide.html#post-processing-outputs)
+
 ## Built With
 
 * [Python](www.python.org/) - The language used
 ## Built With
 
 * [Python](www.python.org/) - The language used