Release5/rearchitecting_metrics_collection_to_include_TSDB.md

   1 # Re-architecting metrics collection to include TSDB #
   2
   3 ## Proposer ##
   4 - Gianpietro (Whitestack)
   5
   6 ## Type ##
   7 **Feature**
   8
   9 ## Target MDG/TF ##
  10 MON, DEVOPS, IM
  11
  12 ## Description ##
  13
  14 OSM MON needs a way to store metrics coming from different sources, such as VIM or, in the future, VNFs.  It also could benefit from the correlation that may happend between both sources of information.
  15 This was described during OSM F2F MR#5 Oslo and detailed here: https://docbox.etsi.org/OSG/OSM/05-CONTRIBUTIONS/2018/OSM(18)000074_OSM_PM___FM_Architecture_Proposal_4_.pdf
  16
  17 As agreed, OSM will have a common TSDB implemented using Prometheus (Apache2 license), which will be used to:
  18 1. Store metrics gathered by MON from VIM and (directly from) VNFs (through N2VC)
  19 2. Correlate metrics coming from the different sources in the context of every NS/VNF.
  20 3. Implement its own alarming service in order to monitor the status of the metrics and trigger its own alarms to avoid dependancy of limited VIM alarming services like OpenStack Aodh.
  21 4. Expose an well-known API (prometheus) which can be used by well-known tools (like Grafana) to build a metrics dashboard.
  22 5. Be queried by MON to respond to 'instantaneous metric values' requests to the kafka bus, when requested from OSM CLI or NBI.
  23
  24 ## Demo or definition of done ##
  25 During OSM installation, users should be able to:
  26 - Include an optional 'grafana' stack which will install Grafana (Prometheus will be included by default as a common service)
  27
  28 During NS onboarding, users should be able to:
  29 - Activate VNF/VDU monitoring (deactivated by default), at descriptor level.
  30
  31 During NS instantiation, users should be able to:
  32 - Activate VNF/VDU monitoring to override what was available at descriptor level.
  33
  34 After NS instantiation, and if monitoring was activated, users should be able to:
  35 - Query Prometheus through OSM CLI or NBI for instantaneous metrics.
  36 - Query Prometheus directly for historical metrics.
  37 - (If Grafana installed) Open Grafana and see a pre-populated dashboard as example.