3 h 15 (S6.1 : 25 min · S6.2 : 30 min · S6.3 : 25 min · S6.4 : 20 min · S6.5 : 30 min · S6.6 : 55 min · S6.7 : 10 min)
module 5 (devis-auto en dev et prod via Argo CD)
application déployée mais muette → supervisée, alertée, incident analysé ; architecture cible de Mutuelle Horizon
25 min
Observabilité = Métriques (combien) + Journaux (quoi) + Traces (où)| Signal | Question | Outil OpenShift |
|---|---|---|
| Métriques | Combien, à quel rythme, depuis quand ? | Prometheus, Thanos |
| Journaux | Que s'est-il passé exactement ? | OpenShift Logging (Vector + Loki) |
| Traces | Par où est passée la requête ? | Distributed Tracing (Tempo, OpenTelemetry) |
flowchart LR
E[kubelet, nœuds, Operators] --> P[Prometheus plateforme]
P --> T[Thanos Querier]
T --> C[Console : Observe]
P --> A[Alertmanager]
A --> R[Courriel, Teams, PagerDuty]
openshift-monitoring : métriques de la plateforme, alertes Red Hat préconfigurées| Vue | Contenu |
|---|---|
| Dashboards | Tableaux de bord prêts (cluster, nœuds, namespaces, pods) |
| Metrics | Requêtes PromQL libres, graphiques |
| Alerting | Alertes actives, règles, silences |
| Targets | Cibles de collecte et leur état (up / down) |
view suffisants)partir des tableaux de bord, descendre vers PromQL
| Type | Exemple devis-api | Usage |
|---|---|---|
| Counter (croissant) | devis_requetes_total |
Toujours avec rate() |
| Gauge (variable) | devis_chaos_actif |
Valeur instantanée |
| Histogram (répartition) | devis_duree_secondes_bucket |
histogram_quantile() |
rate(devis_requetes_total[5m]) : requêtes par seconde sur 5 minsum by (code) (…) : regroupement par labelhistogram_quantile(0.95, sum by (le) (rate(…_bucket[5m]))) : latence p9530 min
Monitoring utilisateur = Prometheus dédié + ServiceMonitor dans chaque projetapiVersion: v1
kind: ConfigMap
metadata:
name: cluster-monitoring-config
namespace: openshift-monitoring
data:
config.yaml: |
enableUserWorkload: trueopenshift-user-workload-monitoring (≈ 1 min)oc exec deployment/devis-api -n devis-prod -- curl -s localhost:8080/metrics \
| grep -E '^devis_(requetes_total|info)'Sortie attendue (extrait) :
devis_requetes_total{code="200",route="/devis"} 42.0
devis_requetes_total{code="200",route="/ready"} 310.0
devis_info{version="3.0.0"} 1.0prometheus_client (Python)/metrics toutes les 30 sapiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: devis-api
spec:
selector:
matchLabels: {app: devis-api}
endpoints:
- {port: 8080-tcp, path: /metrics, interval: 30s}selector : labels du Service ; port : NOM du port du Servicebase/ dans Git → dev et prod supervisés (Argo CD)upoc get servicemonitor -n devis-proddevis-api à l'état Upsum by (pod) (rate(devis_requetes_total{namespace="devis-prod"}[5m]))
nom de port erroné dans le ServiceMonitor → aucune cible, aucune erreur visible
25 min
Alerte = Expression PromQL + Durée (for) + Sévérité + Annotationskind: PrometheusRule
metadata: {name: devis-api-alertes}
spec:
groups:
- name: devis-api
rules:
- alert: DevisTauxErreursEleve
expr: |
sum by (namespace) (rate(devis_requetes_total{route="/devis",code=~"5.."}[2m]))
/ sum by (namespace) (rate(devis_requetes_total{route="/devis"}[2m])) > 0.05
for: 1m
labels: {severity: warning}apiVersion et annotations dans le lab
flowchart LR
I[Inactive] --> P[Pending]
P -->|condition vraie pendant for| F[Firing]
F --> A[Alertmanager]
A --> N[Notification]
F -->|condition fausse| R[Resolved]
for pas encore atteinte (évite les faux positifs)critical (intervention immédiate), warning (heures ouvrées)summary, description avec valeurs ({{ $value }}), lien vers la procédureAlertmanagerConfig par projet, option)alertes fondées sur les objectifs de service (SLO : 99,5 % de devis sans erreur)
20 min
Logging 6 = Collecteur (Vector) + Stockage (LokiStack, S3) + Interface (console)
flowchart LR
P[Pods : stdout / stderr] --> V[Vector sur chaque nœud]
V --> L[LokiStack]
L --> S[(Bucket S3)]
L --> C[Console : Observe → Logs]
1x.demo)oc logs à la recherche multi-podsoc logs -n devis-prod -l deployment=devis-api --prefix --tail=5oc logs : pods vivants uniquement, un conteneur à la fois{kubernetes_namespace_name="devis-prod"} |= "erreur injectée"kubernetes_* et k8s_*journaux en JSON sur la sortie standard (filtrables par champ)
| Besoin | Mise en œuvre |
|---|---|
| Rétention | Politique de la LokiStack (jours, par type de journal) |
| Audit de la plateforme | Journaux audit (API, OAuth), accès restreint |
| SIEM existant | ClusterLogForwarder vers Splunk, Kafka, syslog, Elasticsearch, CloudWatch |
| Cloisonnement | Droits par namespace : chaque équipe voit ses journaux |
journaux d'audit transmis au SIEM, journaux applicatifs dans Loki
30 min
Incident = Détecter → Délimiter → Corréler → Corriger → Capitaliser| Signal | PromQL devis-api |
|---|---|
| Rate (débit) | sum(rate(devis_requetes_total{route="/devis"}[5m])) |
| Errors (erreurs) | sum(rate(devis_requetes_total{code=~"5.."}[5m])) |
| Duration (latence p95) | histogram_quantile(0.95, sum by (le) (rate(devis_duree_secondes_bucket[5m]))) |
DevisTauxErreursEleve (Pending → Firing)énoncé complet dans module-06-exercices.md
55 min
module-06-exercices.md (Atelier 6.6)Installation · Topologie · Nombre de clusters · Multi-cluster
Stockage · GitOps · Observabilité · Sécurité et PRA
| Dimension | Options | Critères |
|---|---|---|
| Installation | IPI, UPI, Agent-based, Assisted | Automatisation, réseau, déconnexion |
| Topologie | Standard, compacte, SNO, HCP | Disponibilité, coût, taille |
| Multi-cluster | Clusters isolés, ACM, ACM + HCP | Nombre de clusters, gouvernance |
| Stockage | CSI du fournisseur, ODF, NFS | Modes d'accès, performance, support |
| Dimension | Options | Critères |
|---|---|---|
| GitOps | Instance centrale, instances par équipe | Autonomie, séparation des droits |
| Observabilité | Monitoring utilisateur, Loki, SIEM | Rétention, conformité, alertes |
| Sécurité | SCC, RBAC par groupes, coffre de secrets | Moindre privilège, audit |
| PRA | Actif / passif, actif / actif, sauvegarde OADP | RTO, RPO, coût |
10 min
Observabilité = Métriques + Journaux + Traces ; stack de monitoring fournie avec le clusterrate() sur les counters, sum by, histogram_quantile pour la latencefor + action attenduedevis_requetes_total ?histogram_quantile()rate()max()rate() donne le rythme par seconde.port d'un ServiceMonitor ?Pending. Pourquoi ?forfor.oc logs face à Loki ?oc logs ne lit que les pods existants, sans historique ni recherche multi-podsoc logs exige le rôle cluster-adminoc logs ne lit pas les journaux JSONoc logs n'affiche que les erreursoc logs ne lit que les conteneurs existants ; Loki conserve l'historique de tous les pods.