Bug 1903: Better SSH check
[osm/devops.git] / jenkins / ci-pipelines / ci_helper.groovy
1 /* Copyright 2017 Sandvine
2  *
3  * All Rights Reserved.
4  *
5  *   Licensed under the Apache License, Version 2.0 (the "License"); you may
6  *   not use this file except in compliance with the License. You may obtain
7  *   a copy of the License at
8  *
9  *        http://www.apache.org/licenses/LICENSE-2.0
10  *
11  *   Unless required by applicable law or agreed to in writing, software
12  *   distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
13  *   WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
14  *   License for the specific language governing permissions and limitations
15  *   under the License.
16  */
17
18 def get_archive(artifactory_server, mdg, branch, build_name, build_number, pattern='*') {
19     server = Artifactory.server artifactory_server
20
21     println("retrieve archive for ${mdg}/${branch}/${build_name}/${build_number}/${pattern}")
22
23     // if the build name does not contain merge, then this is a patchset/staging job
24     if (!build_name.contains('merge')) {
25         branch += '-staging'
26     }
27     def repo_prefix = 'osm-'
28     def downloadSpec = """{
29      "files": [
30         {
31           "target": "./",
32           "pattern": "${repo_prefix}${mdg}/${branch}/${build_number}/${pattern}"
33         }
34      ]
35     }"""
36
37     println("Searching Artifactory with ${downloadSpec}")
38
39     def results = server.download(downloadSpec)
40     // Save the list of URLs that we need to pass to the dockerfiles for build
41     def debian_packages = []
42     for ( result in results.getDependencies()) {
43         if (result.remotePath.contains(".deb")) {
44             debian_packages.add(result.remotePath)
45         }
46     }
47
48     // workaround.  flatten repo to remove specific build num from the directory
49     sh "cp -R ${branch}/${build_number}/* ."
50     sh "rm -rf ${branch}/${build_number}"
51
52     return debian_packages
53 }
54
55 def get_env_value(build_env_file,key) {
56     return sh(returnStdout:true,  script: "cat ${build_env_file} | awk -F= '/${key}/{print \$2}'").trim()
57 }
58
59 def lxc_run(container_name,cmd) {
60     return sh(returnStdout: true, script: "lxc exec ${container_name} -- ${cmd}").trim()
61 }
62
63 def lxc_file_push(container_name,file,destination) {
64     return sh(returnStdout: true, script: "lxc file push ${file} ${container_name}/${destination}").trim()
65 }
66
67 // start a http server
68 // return the http server URL
69 def start_http_server(repo_dir,server_name,port) {
70     sh "docker run -dit --name ${server_name} -p ${port}:80 -v ${repo_dir}:/usr/local/apache2/htdocs/ httpd:2.4"
71     def http_server_ip = sh(returnStdout:true,  script: "docker inspect --format '{{ .NetworkSettings.IPAddress }}' ${server_name}").trim()
72     return "http://${http_server_ip}/"
73 }
74
75 def lxc_get_file(container_name,file,destination) {
76     sh "lxc file pull ${container_name}/${file} ${destination}"
77 }
78
79 def systest_run(container_name, test, source_rc = null) {
80     // need to get the SO IP inside the running container
81     so_ip = lxc_run(container_name,"lxc list SO-ub -c 4|grep eth0 |awk '{print \$2}'")
82     ro_ip = lxc_run(container_name,"lxc list RO -c 4|grep eth0 |awk '{print \$2}'")
83     //container_ip = get_ip_from_container(container_name)
84
85     if ( source_rc ) {
86         pre_source = "/tmp/" + source_rc.substring(source_rc.lastIndexOf('/')+1)
87
88         lxc_file_push(container_name,source_rc,pre_source)
89         result = lxc_run(container_name, "sh -c '. ${pre_source}; make -C devops/systest OSM_HOSTNAME=${so_ip} OSM_RO_HOSTNAME=${ro_ip} ${test}'")
90         echo result
91     }
92     else
93     {
94         result = lxc_run(container_name, "make -C devops/systest OSM_HOSTNAME=${so_ip} OSM_RO_HOSTNAME=${ro_ip} ${test}")
95         echo result
96     }
97     lxc_get_file(container_name, "/root/devops/systest/reports/pytest-${test}.xml",'.')
98 }
99
100 def get_ip_from_container( container_name ) {
101     return sh(returnStdout: true, script: "lxc list ${container_name} -c 4|grep eth0 |awk '{print \$2}'").trim()
102 }
103
104 def archive(artifactory_server,mdg,branch,status) {
105     server = Artifactory.server artifactory_server
106
107     def properties = ""
108     //def properties = "branch=${branch};status=${status}"
109     def repo_prefix = 'osm-'
110
111     // if the build name does not contain merge, then this is a patchset/staging job
112     if ( !JOB_NAME.contains('merge') ) {
113         branch += '-staging'
114     }
115     def uploadSpec = """{
116      "files": [
117         {
118           "pattern": "dists/*.gz",
119           "target": "${repo_prefix}${mdg}/${branch}/${BUILD_NUMBER}/",
120           "props": "${properties}",
121           "flat": false
122         },
123         {
124           "pattern": "dists/*Packages",
125           "target": "${repo_prefix}${mdg}/${branch}/${BUILD_NUMBER}/",
126           "props": "${properties}",
127           "flat": false
128         },
129         {
130           "pattern": "pool/*/*.deb",
131           "target": "${repo_prefix}${mdg}/${branch}/${BUILD_NUMBER}/",
132           "props": "${properties}",
133           "flat": false
134         },
135         {
136           "pattern": "changelog/*",
137           "target": "${repo_prefix}${mdg}/${branch}/${BUILD_NUMBER}/",
138           "props": "${properties}",
139           "flat": false
140         }]
141     }"""
142
143     buildInfo = server.upload(uploadSpec)
144     //buildInfo.retention maxBuilds: 4
145     //buildInfo.retention deleteBuildArtifacts: false
146
147     server.publishBuildInfo(buildInfo)
148
149     // store the build environment into the jenkins artifact storage
150     sh 'env > build.env'
151     archiveArtifacts artifacts: "build.env", fingerprint: true
152 }
153
154
155 //CANNOT use build promotion with OSS version of artifactory
156 // For now, will publish downloaded artifacts into a new repo.
157 def promote_build(artifactory_server,mdg,branch,buildInfo) {
158     println("Promoting build: mdg: ${mdg} branch: ${branch} build: ${buildInfo.name}/${buildInfo.number}")
159
160     server = Artifactory.server artifactory_server
161
162     //def properties = "branch=${branch};status=${status}"
163     def repo_prefix = 'osm-'
164     def build_name = "${mdg}-stage_2 :: ${branch}"
165
166     def promotionConfig = [
167         // Mandatory parameters
168         "buildName"          : buildInfo.name,
169         "buildNumber"        : buildInfo.number,
170         'targetRepo'         : 'osm-release',
171
172         // Optional parameters
173         'comment'            : 'this is the promotion comment',
174         'sourceRepo'         : "${repo_prefix}${mdg}",
175         'status'             : 'Testing',
176         'includeDependencies': true,
177         'copy'               : true,
178         // 'failFast' is true by default.
179         // Set it to false, if you don't want the promotion to abort upon receiving the first error.
180         'failFast'           : true
181     ]
182
183     server.promote promotionConfig
184 }
185
186 def get_mdg_from_project(project) {
187     // split the project.
188     def values = project.split('/')
189     if ( values.size() > 1 ) {
190         return values[1]
191     }
192     // no prefix, likely just the project name then
193     return project
194 }
195
196
197 return this