Claude-alapú autonóm Analytics Engineering rendszer

 

Claude-alapú autonóm Analytics Engineering rendszer


Az elmúlt időszakban sokat kísérleteztem azzal, hogyan lehet a Claude képességeit igazán hatékonyan kihasználni komplex, ismétlődő analytics engineering feladatok automatizálására. Az eredmény egy jól strukturált, újrafelhasználható multi-agent rendszer, amely jelentősen növeli a termelékenységet.

A rendszer négy alapvető komponensre épül: Context files, Skills, Sub-agents és On-demand References.1. Context Files – Az agy és a belépési pont

• AGENTS.md → Ez a rendszer „agya”. Itt található a fő ügynök teljes szerepköre, a projekt kontextusa, a használt technológiai stack, a könyvtárstruktúra, valamint a elérhető skillek menüje. Ez a fájl tartalmazza a legfontosabb szabályokat és irányelveket.
• CLAUDE.md → A Claude Code (vagy Claude Desktop) belépési pontja. Ez a fájl mutat rá az AGENTS.md-re, és inicializálja a teljes környezetet.

2. Skills – Lépésről lépésre eljárásokA skillek jelentik a rendszer „kezeit”. Ezek jól definiált, ismétlődő folyamatok:

• /develop → SQL scaffoldolása, üzleti logika implementálása, YAML konfigurációk előállítása a projekt konvenciói szerint.
• /test → dbt tesztek futtatása, manuális spot-check a warehouse-ban, lineage alapú impact analysis.
• /deploy → Változások commitolása, draft Pull Request nyitása a megfelelő ticket kontextussal.
• /check-test-failures → Produkciós teszteredmények lekérdezése és javítási javaslatok készítése.

3. Sub-agents – Szakértő szakértőkNem minden feladatot kell ugyanannak az ügynöknek végeznie. Két specializált alügynököt hoztam létre:

• Code-reviewer → Csak SQL kódot review-zol, nem ír kódot. A skillek hívják meg igény szerint.
• Doc-reviewer → YAML leírások minőségéért felelős: formátum, mondatszerkezet, olvashatóság, következetesség.

Ez a felosztás jelentősen javítja a végtermék minőségét.4. On-demand References – Lustán betöltött tudásbázisAhelyett, hogy mindent egy hatalmas promptba tömnék, a referencia fájlokat csak akkor töltöm be, amikor valóban szükséges:

• dbt-conventions.md
• sql-conventions.md
• yaml-conventions.md
• data-warehouse.md (adatbázisok, sémák, táblák, naming konvenciók stb.)

Ez a „lazy loading” megközelítés jelentősen spórol a kontextus ablakkal és növeli a pontosságot.

---

Miért működik jól ez az architektúra?Ez a felépítés nagyon újrafelhasználható. Nem csak dbt/SQL alapú adatmodellezésre alkalmazható, hanem bármilyen analitikai vagy adatfejlesztési területen (dbt, Airflow, Spark, Python ETL, stb.).A rendszer a rutin, jól strukturálható munkát (fejlesztés, tesztelés, deploy, review) átveszi, így nekem csak a magas értékű, emberi munkára marad időm – érdekeltekkel való beszélgetésre, követelmények pontosítására és a feladatok keretezésére. Jelenleg ez az összes munkám kb. 20%-a.ÖsszefoglalóA Claude nem csak egy „okos chatbot”. Ha megfelelő kontextussal, specializált skillekkel és alügynökökkel látjuk el, akkor valódi társ lesz az analytics engineering munkában – méghozzá egy nagyon fegyelmezett, konzisztens és gyorsan tanuló társ.Akik hasonló rendszert építenének, szívesen segítek a struktúra kialakításában vagy a fájlok megosztásában.