Semplificare l'observability

per progetti Serverless

Luciano Mammino (@loige)

2021-10-21

loige.link/simple-obs

Get these slides!

loige

loige.link/simple-obs

CIAO 👋

Sono Luciano

Senior Architect @ fourTheorem (Dublin 🇮🇪) 👨‍💻

nodejsdp.link

Co-Autore di Node.js Design Patterns  👉

Ci connettiamo?

  loige.co (blog)

  @loige (twitter)

  loige (twitch)

  lmammino (github)

We are business focused technologists that deliver.


Accelerated Serverless | AI as a Service | Platform Modernisation

⭐️ Stiamo assumendo:  ti va di lavorare con noi?

loige

loige

awsbites.com

Ho da poco avviato un podcast settimanale su AWS

"Observability"

loige

Observability nel Cloud ☁️

loige

" Una misura di quanto si riesca a comprendere lo stato di un sistema osservandone esclusivamente gli output

🪵

Log strutturati

🔍

Tracing

📈

Metriche

🚨

Allarmi

Observability su AWS = CloudWatch

loige

CloudWatch é un servizio che fornisce:

 

  🪵  Logs (e insights)

  📈   Metriche

  📊   Dashboard

  🚨   Allarmi

  🐥   Canaries

  🔍   Tracing distribuito (X-Ray)

Alternative ad AWS

loige

Soluzioni comuni (as a service)

Soluzioni "fai da te"

Nuove Soluzioni

CloudWatch 
out of the box 📦

loige

😍 Un toolkit completo per l'observability 

🤩 Colleziona metriche automaticamente per ogni servizio AWS

😟 Tante dashboards, ma organizzate per servizio e non per applicazione!

😢 Zero allarmi pre-configurati!

Utilizzando
servizi terzi 🐶

loige

✅ I prodotti terzi hanno una UX migliore

❌ Bisogna esportare i dati da AWS

❌  Alcune feature potrebbero non essere ben integrate o richiedere integrazioni personalizzate

❌  Potresti restare bloccato in dual-mode

Come utilizzare CloudWatch al meglio!

loige

Cloudwatch puó diventare il tuo miglior amico se...

📚   Studi e comprendi tutte le metriche disponibili

📐   Decidi le varie soglie per i tuoi allarmi

📊   Scrive codice (IaC) per creare dashboards per le tue applicazioni

⏰   Scrivi codice (IaC) anche per gli allarmi

⏪   Aggiorni questo codice quando la tua applicazione cambia (e.g. nuovi servizi AWS vengono utilizzati)

📋   Copi ed incolli (e modifichi) tutto questo codice per ogni stack delle tue applicazioni su AWS!

 

(a.k.a. TANTO DURO LAVORO!)

 

Best practices

loige

😇 AWS Well Architected Framework

🏛  5 pilastri 

⚙️  Il pilastro "Operational excellence" copre l'argomento "observability"

🧐 Serverless lens applica questi pilastri

 

👍 Ottima guida sulle metriche da utilizzare

👎 Altra roba da studiare

👎 Devi comunque decidere le soglie

Scrivere allarmi con CloudFormation

loige

{
  "Type":"AWS::CloudWatch::Alarm",
  "Properties":{
    "ActionsEnabled":true,
    "AlarmActions":[
      "arn:aws:sns:eu-west-1:665863320777:FTSLICAlarms"
    ],
    "AlarmName":"LambdaThrottles_serverless-test-project-dev-hello",
    "AlarmDescription":"Throttles % for serverless-test-project-dev-hello ..",
    "EvaluationPeriods":1,
    "ComparisonOperator":"GreaterThanThreshold",
    "Threshold":0,
    "TreatMissingData":"notBreaching",
    "Metrics":[
      {
        "Id":"throttles_pc",
        "Expression":"(throttles / throttles + invocations) * 100",
        "Label":"% Throttles",
        "ReturnData":true
      },
      {
        "Id":"throttles",
        "...":"..."
      }
    ]
  }
}
[
  {
    "...":"...",
    "MetricStat":{
      "Metric":{
        "Namespace":"AWS/Lambda",
        "MetricName":"Throttles",
        "Dimensions":[
          {
            "Name":"FunctionName",
            "Value":"serverless-test-project-dev-hello"
          }
        ]
      },
      "Period":60,
      "Stat":"Sum"
    },
    "ReturnData":false
  },
  {
    "Id":"invocations",
    "MetricStat":{
      "Metric":{
        "Namespace":"AWS/Lambda",
        "MetricName":"Invocations",
        "...":"..."
      }
    }
  }
]

Possiamo automatizzare?

loige

Magically generated alarms and dashboards for each application!

Ecco a voi

SLIC watch!

loige

fth.link/slic-watch

Come funziona SLIC watch? 🛠

loige

la tua applicazione

serverless.yml

Stack CloudFormation

very-big.json

Stack CloudFormation ++

even-bigger.json

sls deploy
SLIC Watch

Deploy ☁️

👀🛠

📈📊

loige

Senza SLIC watch!

loige

Con SLIC watch!

loige

Con SLIC watch!

loige

Con SLIC watch!

loige

Con SLIC watch!

Con SLIC watch!

loige

Dai un'occhiata a SLIC Slack

Configurazione

loige

🎀 SLIC Watch ha una buona configurazione di default

 

📝 ... e puoi comunque cambiare tutti i parametri

 

🔌 ... o disabilitare specifiche dashboard o allarmi

Come iniziare

loige

 📣  Crea un Topic SNS come destinazione per gli allarmi (opzionale)

 

📦 ❯npm i serverless-slic-watch-plugin --save-dev

 

✍️ Aggiorna serverless.yml per attivare il plugin:

    plugins:
      - serverless-slic-watch-plugin


⚙️ Modifica la configurazione (opzionale)

 

🚢 ❯ sls deploy

  

💡 Il repo ufficiale contiene un

progetto esempio!

DEMO TIME!

loige

In conclusione 🤌

loige

  • CloudWatch é un ottimo servizio se configurato ed utilizzato correttamente!
     
  • L'automazione puó rimuovere le componenti piú tediose
     
  • SLIC Watch mira a fornire questo tipo di automazione
     
  • ... lasciandoti comunque la possibilitá di personalizzare la configurazione

 

🔬Provalo!   🗣 Dacci un feedback!   🌈 Contribuisci!

 

fth.link/slic-watch

Cover Photo by Maarten van den Heuvel on Unsplash

loige.link/simple-obs

loige

nodejsdp.link