Diplom- und Abschlussarbeiten (2018/19)
Erstellung einer Anwendung zur Datenaggregation mit anschließendem Analyseprozess
Projektleiter
Tamara Amann
Tamara Amann übernahm die Rolle der Projektleitung. Sie war in ihrer Funktion als Projektleiterin für das Projektmanagement und für die Organisation des Projektes zuständig. Des Weiteren umfasste ihr Aufgabegebiet das Design und die Umsetzung des User-Interfaces sowie die Implementierung des Front-Ends.
Mitarbeiter
Björn Kräutler
Björn Kräutler war im Projekt mit dem Arbeitstitel "M.A.R.C One" ein Projektteammitglied. Sein zugewiesenes Themengebiet umfasste die Konzeption und Umsetzung des Datenbankaufbaus und deren Betreuung. Des Weiteren war er für die Optimierung des Codes nach Durchführung der Tests zuständig. Die nach den Tests gefundenen Fehler wurden von ihm und Projektteammitarbeiter Lucas Enzi ausgebessert.
Lucas Enzi
Lucas Enzi hatte im Projekt M.A.R.C One die Rolle eines Projektteammitarbeiters inne. Der ihm zugewiesene Aufgabenschwerpunkt umfasste die Konzeption und Umsetzung der Scraping-Funktion sowie die Umsetzung der Lastenverteilung des Datenaggregationsprozesses. Er war gemeinsam mit Björn Kräutler für das Testen zuständig
Zielsetzung
Ziel des Projekts ist es, eine Anwendung zur Datenaggregration zu erstellen, welche es ermöglicht Daten von ausgewählten Websites in unter 12 Stunden und voll automatisiert, anhand einer vorgegebenen Produktliste, zu beziehen. Nach Abschluss des Prozesses soll ein Fehlerbericht an einen vorab definierten Benutzer gesendet werden.
Problemstellung
Aktuell werden im Unternehmen benötigte Produktpreise manuell recherchiert. Um den Zeitverlust durch manuelle Recherchen zu minimieren, soll der benötigte Produktpreis voll automatisiert von ausgewählten Websites aggregiert und auf einer Website in graphischer Form dargestellt werden.
Ergebnisse
Das Ergebnis dieses Projektes ist eine funktionsfähige Anwendung zur webbasierten Datenaggregation und eine Website zur exemplarischen Darstellung der Ergebnisse des Aggregationsprozesses. Des Weiteren erfolgte eine schriftliche Dokumentation in Form der Diplomarbeit, welche sowohl die technischen Aspekte als auch die Aspekte des Projektmanagements dieses Projektes fest hält.
Technologien
Visual Studio Code
Für das Programmieren des Tools wurde die Entwicklungsumgebung Visual Studio Code verwendet.
MongoDB Compass
Um die Datenbank zu verwalten und die darin stehenden Datensätze zu bearbeiten, wurde das Verwaltungstool MongoDB Compass genutzt.
ExpressJS
ExpressJS ist ein Framework für NodeJS, mit welchem die Webanwendungen entwickelt wurde.
Chromium
Chromium ist ein Großteil des Quelltextes von Google Chrome und steht als Open-Source-Projekt zur Verfügung. Chromium wird in Verbindung mit PuppeteerJS für das Webscraping-Tool verwendet.
NodeJS
NodeJs ist eine Plattform für den Betrieb von Netzwerkanwendungen, welche die Verwendung von vielen Modulen zur Verfügung stellt.
PuppeteerJS
Mithilfe von PuppeteerJS können Aktionen von Usern im Browser automatisiert nachgeahmt werden. Es wird unter anderem für das Web-Scraping genutzt.
mongoose
Mongoose ist eine Object Data Model (ODM) Bibliothek für MongoDB.
MongoDB
MongoDB ist eine dokumentenorientierte NoSQL-Datenbank.