Webtrends: Analysis Throttling & Table Sizes (I)

Webtrends hat viele Einstellungen, die man normalerweise selten anschaut geschweige denn verändert. Zwei davon sind eindeutig das Analysis Throttling und die Table Sizes. In diesem Teil 1 geht es um das Analysis Throttling.



Analysis Throttling

Das Analysis Throttling bestimmt, wie viele Daten auf einmal analysiert werden. Man kann dies einmal global unter Web Analysis -> Options -> Analysis einstellen oder für jedes Profil individuell. Die Option "Analyze all available log data" bedeutet, Webtrends versucht alle vorhandenen Daten für dieses Profil in einem Durchlauf zu analysieren. Bei größeren Profilen ist dies wegen der Menge an Logfiles allerdings nicht möglich. Hier muss ein Kompromiss zwischen Geschwindigkeit und Arbeitsspeicher gefunden werden.

Webtrends lädt zunächst die bereits analysierten Daten (gezippt in einer sog. FasTrends Datenbank), betrachtet dann die vorhandenen Logdateien und analysiert die Daten. Sofern mehr Daten zu analysieren sind als im Analysis Throttling eingestellt, fängt Webtrends mit den Daten an. Sobald das Analysis Throttling greift, stoppt Webtrends an dieser Stelle, erstelle die täglichen/wöchentlichen/monatlichen Reports, speichert sie in der FastTrends Datenbank und sichert sie wieder auf dem Webtrends Server. Mit der Option "Rerun analysis immediately after maximum amount of data is analyzed" wird Webtrends dann sofort wieder die Analyse für dieses Profile starten, bis keine neuen Logdateien mehr vorhanden sind. Jeder dieser Durchläufe (Fastrends zum Analysieren kopieren, FastTrends entpacken, Daten analysieren, FastTrends schreiben, komprimieren und auf dem Webtrends-Server speichern) benötigt also mehr Zeit. Generell gilt, um so größer die Menge an Daten ist, um so schneller kann Webtrends das Profil analysieren.

Details zu den Datenmengen finden Sie im jeweilig Profile Log. In Extremfällen könnte es sogar sein, das 10 Minuten zu viel sind:

xxyyzz123 parsing complete: 14497 records processed.
 Processing records from Tue Feb 28 04:31:19 2012 to Tue Feb 28 04:41:18 2012.

In diesem Fall war allerdings das Profile defekt. Eine Kopie von dem Profile konnte alle vorhandenen Daten (ca. 15 Monate) in einem Lauf analysieren.

Mit der folgenden Zusatzinformation

Max memory usage (physical/virtual): accumulation: 548 / 781 MB, merge: 2075 / 2232 MB, report gen: 2954 / 3128 MB.

sieht man den tatsächlichen Bedarf an Arbeitsspeicher. Mögliche Fehlermeldungen können sein:

• WARNING: WTRS returned with an error code:-2147483641 
• WTRS error 255 

Die zusätzliche Option "Stopping at Midnight" ist dann sehr nützlich, wenn das Logfile nicht um Punkt Mitternacht rotiert sondern wenige Daten im neuen Tag enthält. So werden die Daten für den Folgetag nur analysiert, wenn sie mehr als xx Minuten enthalten.

Anhand der Meldungen im Statuslog (Wichtig: Immer den Sub-Task betrachten!) können folgende Ursachen identifiziert werden:

• Could not connect to FTP - der Webtrends Dienst kann die in der Datasource definierten FTP Zugänge nicht verwenden. Überprüfen Sie den FTP-Server, den Benutzernamen und das Passwort
• Invalid Log file path or log file - Sofern Sie per UNC Verzeichnis auf das Logfile zugreifen, überprüfen Sie die Berechtigungen. Idealerweise melden Sie sich mit den Webtrends-Daten am Webtrends-Server an und versuchen den Zugriff. Bei einer FTP Verbindung überprüfen Sie den angegebenen Pfad auf dem FTP-Server. Zusätzlich  überprüfen Sie bitte die Syntax bei dem angegebenen Pfad. Die Logdateien dürfen außerdem nicht exklusiv gesperrt sein. Es wird entweder ein Dateiname oder ein Wildcard in Form von *.* benötigt
• no log files found for datasource - neben der eben genannten Option können Sie bei FTP zusätzlich den Menüpunkt Webtrends -> Analysis -> Options den Service Account überprüfen
• could not parse log file / invalid log file format - Sofern das Log Format unterstützt wird, überprüfen Sie die Logdateien auf Syntaxfehler
• Die Logdateien sind in einem Zip-Archiv - Webtrends hat keinen freien Speicher beim Entpacken der Zip-Datei. Die Option "compressiondir" in der Datei  \Webtrends\storage\config\wtm_wtx\wtm_wtx.ini kann eine alternative Partition vorgeben.
• Mehr als ca. 1.200 Dateien im Ordner. 
• Analysis Throttling
• Fehlerhafte Webtrends Installation
• GeoTrends ist aktiviert, allerdings nicht installiert bzw. der Dienst nicht gestartet
• Fehler in der Webtrends Datenbank (entweder mySQL oder Microsoft SQL)