BigQuery
A BigQuery egy teljesen felügyelt, a Google által kifejlesztett adattárház, amely segít az adatok kezelésében és elemzésében. Az eszköz szerver nélküli architektúrája lehetővé teszi a szervezetek számára, hogy betekintést nyerjenek üzletükbe, és gyorsan válaszoljanak a kérdésekre. A BigQuery méretezhető és elosztott elemzőmotorja lehetővé teszi a felhasználók számára, hogy SQL használatával petabájtnyi adatot lekérdezzenek .
A BigQuery felületek közé tartozik a Google Cloud konzolfelület és a BigQuery parancssori eszköz. Ezenkívül klienskönyvtárakat biztosít a fejlesztőknek olyan népszerű nyelvekhez, mint a C#, Go, Java, Node.js, PHP, Python és Ruby.
A BigQuery beépített gépi tanulási képességeket biztosít, és lehetővé teszi a külsőleg betanított modellek használatát a Google Cloud Platform (GCP) VertexAI-ban, sőt a BigQueryn kívül betanított egyéni modellek importálását is.
Hagyományos vs Cloud Data Warehouse
A hagyományos adattárházat a helyszínen telepítik, ami általában magas előzetes költségeket, a kezeléséhez szakképzett csapatot, valamint a hagyományos adatközponti erőforrás-skálázás merev természetéből adódó növekvő igények kielégítése érdekében megfelelő tervezést igényel.
A felhő adattárház-megoldást egy felhőszolgáltató kezeli és üzemelteti.
A felhő adattárházak előnyei
Általában a felhő adattárháznak számos előnye van a hagyományos adattárházakkal szemben:
- A méretezésre és a felhőkörnyezet rugalmasságának kihasználására készültek
- Javult a sebességük és a teljesítményük
- A rugalmas árképzés és a felhőkörnyezet lehetővé teszi a költségek optimalizálását (pl. alacsony kereslet esetén a méretcsökkentést)
- Teljesen vagy részben menedzselhetők, ami csökkenti az üzemeltetési költségeket.
Sor és oszloporientált adatbázisok
A sororientált adatbázisok jól illeszkednek a teljes sorkereséssel, új rekordok beszúrásával és manipulálással járó munkaterhelésekhez. Ellenkezőleg, emiatt nem alkalmasak az analitikai munkaterhelésre. Például egy több tucat oszlopot tartalmazó táblázat néhány oszlopának lekérdezése nagy mennyiségű szükségtelen adat kiolvasását eredményezné (ez általános az analitikai terheléseknél, mint például a termék-előrejelzés, ad-hoc elemzés stb.).
A sororientált adatbázisok általában jól használhatók az online tranzakciófeldolgozáshoz (OLTP), az oszloporientált adatbázisok pedig az online analitikai feldolgozáshoz (OLAP).
OLTP vs OLAP
Az OLTP egyfajta adatbázis-rendszer, amelyet tranzakció-orientált alkalmazásokban használnak. Az „online” azt jelenti, hogy az ilyen rendszerektől elvárják, hogy válaszoljanak a felhasználói kérésekre, és azokat valós időben dolgozzák fel (azaz feldolgozzák a tranzakciókat).
A kifejezés ellentétben áll az online analitikai feldolgozással (OLAP), amely ehelyett az adatelemzésre összpontosít.
Hogyan működik a BigQuery?
A BigQuery egyik kulcsfontosságú funkciója a számítási motor és a tárhely szétválasztása, így mindkettő külön-külön méretezhető, szükség szerint és igény szerint. Ez lehetővé teszi a felhasználók számára, hogy terabájtnyi adatot kérdezzenek le másodpercek alatt, és petabájtokat percek alatt.
Amikor a BigQuery lekérdezést futtat, a lekérdezőmotor párhuzamosan osztja el a munkát, átvizsgálja a tárolóban lévő releváns táblákat, egyesíti az eredményeket, és visszaadja a végső adatkészletet.
BigQuery sandbox / homokozó általában egy olyan tesztelési környezet, amely elszigetelt, és könnyű kísérletezést tesz lehetővé. A BigQuery sandbox segítségével megtapasztalhatja a BigQuery szolgáltatást hitelkártya megadása vagy számlázási fiók létrehozása nélkül.
Táblázat létrehozása előtt létre kell hoznia egy adatkészletet az új projektben. Az adatkészlet egy legfelső szintű tároló, amely a táblák és nézetek rendszerezésére és hozzáférésének szabályozására szolgál.
Megjegyzés :
Sandbox környezetben nem lehet adatokat beszúrni. Ha meg szeretné próbálni az adatok beszúrását, engedélyeznie kell az ingyenes próbaverziót. A következő szakaszok a Google Cloud részeként biztosított nyilvános adatkészletek lekérdezésére összpontosítanak.
Link:
https://cloud.google.com/bigquery/docs/reference/rest/?apix=true
https://console.cloud.google.com/vertex-ai/studio
Megjegyzések
Megjegyzés küldése