0251 / 590 837 15
info@a-coding-project.de

Applimana – Was steckt hinter dem System?

Applimana ist ein Website-Analyse-Tool, welches grade von mir neu entwickelt wird. Dahinter steckt ab bald ein eigner Crawler der bessere Ergebnisse als das aktuelle System liefern soll.

Ich habe bereits in ein paar Artikeln erste Ergebnisse präsentiert, auf die immer wieder Fragen bzgl. dem System dahinter gefallen sind. In diesem Beitrag möchte ich ein paar Details verraten, aber ich gehe natürlich nicht komplett ins Detail. Ich hoffe ihr könnt das verstehen.

Architektur

An Applimana sind zur Zeit zwei Rechner beteidigt. Auf einem werden die Daten ermittelt, auf den anderen werden sie ausgelesen und dem Benutzer präsentiert.

Der Webserver ist ein V-Server von Giga-Hosting. Auf ihm läuft mein CMS ContentLion, welches die Oberfläche des System darstellt. Es greift nur auf extraierte Ergebnisse zurück. Der im Web verfügbare Teil ist so aufgebaut, dass ich später bei Bedarf neue Server hinzunehmen kann.

Die Ermittlung der Daten erfolgt zur Zeit auf meinen privaten Rechner. Das ist billiger als einen Server im Web zu mieten, da ich den Rechner sowieso habe. Er bietet natürlich ausreichend Rechenkraft um einen Crawler zu betreiben.

Applimana System

Crawler

Im Crawler werden parallel mehrere Seiten heruntergeladen. Die Links und Inhalte werden ausgelesen und in die Datenbank eingefügt. Durch die neu gewonnen Links können weitere Seiten gecrawlt werden usw.

Externe Daten

Neben den selbt gecrawlten Daten brauche ich auch Daten von anderen Diensten. Dazu gehören zum Beispiel auch die Daten vom DMOZ oder aus Twitter. Diese Daten werden parallel abgefragt und in die Datenbank eingetragen.

Berechnungen

Der wohl aufwändigste Teil sind die Berechnungen. Selbst kleine Berechnungen müssen vorher gut geplant sein. Denn das Zusammenfassen von Millionen Datensätzen braucht mehr als ein paar Sekunden. Die Datenbank muss redundant und mit einigen Indizies ausgestattet werden.

Ergebnisse extraieren

Wenn alle Daten vorhanden sind, müssen nur die Datensätze an den Server übertragen werden, die auch wirklich gebraucht werden. Alles andere verlangsamt den Server und nimmt nur unnötigen Platz ein.

Wann ist es endlich fertig?

Der Großteil ist bereits fertig. Es fehlen noch ein paar Details. Ich hoffe ich werde im Juli eine Beta-Version online stellen können. Hinter dem Projekt steckt enorm viel Arbeit, aber ich denke, dass es sich lohnen wird.

Applimana wird übrigens später kostenlos zur Verfügung gestellt 😉

Kommentare

Patrick Toalster schrieb am 13.12.2011:

Hallo Stefan, habe eben Dein Applimana Tool durch einen Kommentar bei Webmaster-Zentrale.de entdeckt und gleich mal getestet. Sieht schon mal sehr gut aus. Vor allem das Fehlen von vermeintlichen Bewertungen macht sich positiv bemerkbar. Die dafür eingestreuten konstruktiven Kritikelemente sind viel nützlicher als ausdruckslose Zahlen und Skalen.

Stefan Wienströer schrieb am 13.12.2011:

Hi, schön das es dir gefällt. Zur Zeit ist aber noch das alte System online ;-) Gruß Stefan