Data visualiseer vanaf Magicbit in AWS: 5 stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:23

Gegewens wat ingesamel word van sensors wat aan Magicbit gekoppel is, word deur middel van MQTT in die AWS IOT -kern gepubliseer om intyds grafies te visualiseer. Ons gebruik magicbit as die ontwikkelingsbord in hierdie projek wat op ESP32 gebaseer is. Daarom kan enige ESP32 -ontwikkelingsbord in hierdie projek gebruik word.

Benodighede:

Magicbit

Stap 1: Verhaal

Hierdie projek gaan oor die koppeling van u Magicbit -toestel aan die AWS -wolk via MQTT. Data wat deur MQTT gestuur word, word met behulp van AWS -dienste in die wolk geanaliseer en gevisualiseer. Laat ons dus begin

Eerstens moet u na die AWS -konsole gaan en aanmeld. Vir leerdoeleindes kan u die gratis vlak -opsie gebruik wat AWS bied. Dit sal genoeg wees vir hierdie projek.

Om dit makliker te maak, verdeel ek die projek in twee afdelings.

Dit gaan die eerste fase van ons projek wees. Aan die einde van die eerste fase word data in die S3 -emmers gestoor.

Die AWS -dienste wat in die eerste afdeling gebruik sal word,

• Kinesis Firehose
• AWS -gom
• AWS S3

Gaan eers na die AWS Kinesis -diens.

Kies Kinesis Data Firehose soos hieronder getoon en klik op Create

Dan sal u na stap 1 van die oprigting van 'n Firehose -diens verwys word. Voer 'n afleweringsstroomnaam in en kies Direkte put of ander bronne. Klik op Volgende.

Laat alles in die venster 2 as standaard en klik volgende. Nadat ons die AWS Glue Service geskep het, kom ons terug om hierdie stap te wysig.

Kies in stap 3 'n S3 -emmer as u dit al voorheen geskep het. Klik anders op skep en skep 'n emmer. In die S3 -voorvoegsel -afdeling gebruik dest/ en in foutvoorvoegsel voer fout/ in. U kan enige naam vir die twee hierbo invoer. Maar vir die gemak sal ons voortgaan met 'n algemene naam. Maak seker dat u 'n gids met die naam dest in die emmer wat u gekies het, skep. Klik op Volgende.

Kies in stap 4 die minimum buffergrootte en bufferinterval vir data -oordrag in reële tyd. Kies Maak of werk IAM roleKinesisFirehoseServiceRole in die afdeling Toestemming. Hou alles standaard. Klik volgende.

In die volgende afdeling word 'n oorsig van die veranderings wat u aangebring het, vertoon. Klik op OK. Dan het u 'n funksionerende Kinesis -vuurhok.

As u die Firehose -diens suksesvol geskep het, kry u so iets.

Stap 2: Toets die vuurslang en S3 emmer

Kies die IOT -kern in die konsole om te toets of die vuurslang en die S3 -emmer behoorlik werk. U sal na 'n bladsy soos hierdie verwys word. Kies Reël en skep 'n reël.

Wat is die AWS IOT -reël?

Dit word gebruik om data wat van MQTT ontvang is, na 'n spesifieke diens deur te stuur. In hierdie voorbeeld stuur ons na Kinesis Firehose.

Kies 'n naam vir die reël. Laat die reël- en navraagverklaring soos dit is. Dit vertel ons dat alles wat gepubliseer is na die iot/onderwerp -onderwerp deur hierdie reël na kinesis Firehose gestuur sal word.

Klik onder die afdeling Stel een of meer aksies op Voeg aksie by. Kies Stuur 'n boodskap aan Amazon Kinesis Firehose Stream. Kies konfigureer. Kies dan die naam van die vuurslangstroom wat vroeër geskep is. Klik dan op Skep 'n rol en skep 'n rol. Nou het u 'n rol in AWS suksesvol geskep.

Enige boodskap wat u publiseer, sal deur die Kinesis Firehose na S3 -emmers gestuur word.

Hou in gedagte dat die Firehose data stuur wanneer die buffer gevul is of die bufferinterval bereik word. Die minimum bufferinterval is 60 sekondes.

Nou kan ons oorgaan na die tweede deel van die projek. Dit sal ons datavloeidiagram wees.

Stap 3: Configureer AWS -lijm

Waarom het ons AWS Glue en AWS Athena nodig?

Data wat in S3 -emmers gestoor is, kan nie direk as invoer in AWS Quicksight gebruik word nie. Eerstens moet ons die data in die vorm van tabelle rangskik. Hiervoor gebruik ons bogenoemde twee dienste.

Gaan na AWS Glue. Kies Crawler op die werkbalk aan die kant. Kies dan Voeg kruiper by.

Voer in die eerste stap 'n naam vir u kruiper in. Klik volgende. Laat dit in die volgende stap as standaard. Voer in die derde stap die pad na u gekose S3 -emmer in. Verlaat die volgende venster as standaard. Voer enige IAM -rol in die vyfde venster in. Kies in die volgende stap die frekwensie van die uitvoering van die diens.

Dit is raadsaam om 'n aangepaste in die keuselys te kies en 'n minimum tyd te kies.

Klik in die volgende stap Voeg databasis by en dan volgende. Klik op Voltooi.

Nou moet ons ons Kinesis Firehose integreer met die AWS Glue wat ons geskep het.

Gaan na AWS Kinesis -vuurpype wat ons geskep het en klik op Edit.

Blaai af na die afdeling Skakel rekordformaat en kies Ingeskakel.

Kies die uitvoerformaat as Apache Parket. Vir die res van die besonderhede, vul die besonderhede in van die Glue -databasis wat u geskep het. 'N Tabel moet in die databasis geskep word en die naam moet by hierdie afdeling gevoeg word. Klik op Stoor.

Stap 4: Configureer AWS Athena

Kies die databasis en die datatabel wat u geskep het. In die navraag -afdeling moet hierdie kode bygevoeg word.

tabelnaam moet vervang word met die werklike naam van die Glue-tabel wat u geskep het.

Klik op Voer navraag uit. As dit werk, moet die data wat in die AWS S3 -emmer gestoor word, as 'n tabel met data vertoon word.

Nou is ons gereed om die data wat ons gekry het, te visualiseer.

Stap 5: Configureer QuickSight

Gaan na AWS Quicksight

Klik op New Analysis in die regter boonste hoek en klik dan op New Dataset.

Kies Athena uit die lys. Voer enige databronnaam op die pop -upkaart in.

Kies die Glue -databasis in die keuselys en die relevante tabel. Dit sal u na hierdie bladsy navigeer.

Sleep 'n veld uit die veldlys en laat val 'n visuele tipe.

Nou kan u alle data wat vanaf u MagicBit gestuur is, visualiseer met behulp van AWS -dienste !!!

Onthou dat u toegang tot kwiksigtheid vir die onderskeie S3 -emmers moet toelaat om die data daarin te visualiseer.