Pemantauan Cloud dengan Datadog di Apache APISIX

Seiring dengan meningkatnya kompleksitas produk IT dan pengembangan aplikasi yang ditujukan untuk konsumen, pemantauan menjadi bagian integral dari setiap pengiriman aplikasi. Selain itu, untuk memenuhi tuntutan tak terbatas dari siklus peningkatan yang cepat sambil memastikan stabilitas, kinerja yang efisien, dan menjaga keseimbangan sempurna antara indikator tingkat layanan (SLI) dengan tujuan tingkat layanan (SLO) dan perjanjian tingkat layanan (SLA) - pemantauan yang efektif sangatlah penting.

Sebagai produk Manajemen API Cloud, Apache APISIX memisahkan masalah observabilitas dari aplikasi, yang memberikan keuntungan bagi pengembang untuk membangun aplikasi dengan fokus hanya pada logika bisnis sementara Apache APISIX akan mengurus observabilitas untuk platform pilihan mereka.

Apache APISIX baru-baru ini merilis plugin baru: APISIX-Datadog, untuk memberikan integrasi yang lebih dalam dengan Datadog. Artikel ini memperkenalkan Plugin APISIX-Datadog dan kemampuannya.

Cara kerja plugin APISIX-Datadog

Plugin APISIX-Datadog mengirimkan metrik kustomnya ke server DogStatsD, yang disertakan dengan agen Datadog melalui koneksi UDP. DogStatsD pada dasarnya adalah implementasi dari protokol StatsD. Ini mengumpulkan metrik kustom untuk agen Apache APISIX, menggabungkannya menjadi satu titik data dan mengirimkannya ke server Datadog yang dikonfigurasi. Untuk mempelajari lebih lanjut tentang DogStatsD, silakan kunjungi dokumentasi DogStatsD.

Ketika APISIX-Datadog diaktifkan, agen Apache APISIX mengekspor metrik berikut ke server DogStatsD untuk setiap siklus respons permintaan:

Metrik akan dikirim ke agen DogStatsD dengan tag berikut. Jika tidak ada nilai yang sesuai untuk tag tertentu, tag tersebut akan dihilangkan.

Plugin mempertahankan buffer dengan timer. Ketika timer habis, plugin APISIX-Datadog mengirimkan metrik yang di-buffer sebagai batch ke server dogstatsd yang berjalan secara lokal. Pendekatan ini kurang memakan sumber daya (meskipun mungkin tidak signifikan karena soket UDP sangat ringan) dengan menggunakan kembali soket UDP yang sama dan tidak membebani jaringan sepanjang waktu karena timer dapat dikonfigurasi.

Langkah-langkah untuk Menjalankan Agen Datadog

1. Jika Anda sudah menggunakan Datadog di dalam infrastruktur Anda, Anda pasti sudah memiliki agen datadog yang terinstal di sistem Anda. Ini bisa berupa kontainer docker, pod, atau biner untuk manajer paket tertentu. Dalam hal ini, Anda sudah siap. Pastikan port 8125/udp diizinkan melalui firewall (jika ada) yaitu lebih spesifik, agen Apache APISIX dapat mencapai port 8125 dari agen datadog. Anda dapat melewati subbagian ini.

Untuk mempelajari lebih lanjut tentang cara menginstal agen datadog yang lengkap, kunjungi di sini.

2. Jika Anda baru mengenal Datadog
   1. Pertama, buat akun dengan mengunjungi www.datadoghq.com.
   2. Hasilkan Kunci API.
3. Plugin APISIX-Datadog hanya memerlukan komponen dogstatsd dari datadog/agent karena plugin secara asinkron mengirim metrik ke server dogstatsd mengikuti protokol statsd melalui soket UDP standar. Itulah sebabnya APISIX merekomendasikan menggunakan gambar datadog/dogstatsd mandiri alih-alih menggunakan agen lengkap. Ini sangat ringan (hanya ~11 MB) dibandingkan dengan ~2.8GB dari gambar datadog/agent.

Untuk menjalankannya sebagai kontainer:

# tarik gambar terbaru
docker pull datadog/dogstatsd:latest
# jalankan kontainer terpisah
docker run -d --name dogstatsd-agent -e DD_API_KEY=<Kunci API Anda dari langkah 2> -p 8125:8125/udp  datadog/dogstatsd

Jika Anda menggunakan Kubernetes di lingkungan produksi, Anda dapat menyebarkan dogstatsd sebagai Daemonset atau sebagai Pod Multi-Kontainer bersama dengan agen Apache APISIX.

Cara Menggunakan Datadog dengan Apache APISIX

Mengaktifkan plugin APISIX-Datadog

Berikut adalah contoh cara mengaktifkan plugin datadog untuk rute tertentu. Kami mengasumsikan agen dogstatsd Anda sudah berjalan.

# aktifkan plugin untuk rute tertentu
curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "plugins": {
        "datadog": {}
    },
    "upstream": {
        "type": "roundrobin",
        "nodes": {
            "127.0.0.1:1980": 1
        }
    },
    "uri": "/hello"
}'

Sekarang, setiap permintaan ke endpoint uri /hello akan menghasilkan metrik di atas dan mengirimkannya ke server DogStatsD lokal dari agen datadog.

Konfigurasi Kustom

Dalam konfigurasi default, plugin mengharapkan layanan dogstatsd tersedia di 127.0.0.1:8125. Jika Anda ingin memperbarui konfigurasi, silakan perbarui metadata plugin:

Skema Metadata

Untuk mengetahui lebih lanjut tentang cara menulis tag secara efektif, silakan kunjungi di sini

Buat permintaan ke endpoint /apisix/admin/plugin_metadata dengan metadata yang diperbarui sebagai berikut:

curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/datadog -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "host": "127.0.0.1",
    "port": 8125,
    "constant_tags": [
        "source:apisix",
        "service:custom"
    ],
    "namespace": "apisix"
}'

Skema Plugin

Demikian pula, ada beberapa atribut yang dapat disesuaikan saat mengaktifkan plugin.

Karena semua bidang bersifat opsional dan jika tidak ada atribut yang diatur, plugin datadog akan diinstansiasi dengan nilai default. Untuk memperbarui atribut apa pun, cukup perbarui rute, layanan, atau konsumen yang diperlukan dengan nilai atribut yang diperbarui. Misalnya, kode di bawah ini memodifikasi ukuran buffer maksimum setiap batch:

'{
...
"plugins": {
    "datadog": {
        "batch_max_size": 10
    }
}
... }'

Menonaktifkan plugin APISIX-Datadog

Sekarang, untuk menonaktifkan plugin, cukup hapus konfigurasi json yang sesuai dalam konfigurasi plugin untuk menonaktifkan datadog. Plugin APISIX dimuat ulang secara otomatis, sehingga tidak perlu me-restart APISIX.

# nonaktifkan plugin untuk rute
curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "uri": "/hello",
    "plugins": {},
    "upstream": {
        "type": "roundrobin",
        "nodes": {
            "127.0.0.1:1980": 1
        }
    }
}'