Monitoring Blog
Release announcements, technical guides and monitoring insights from the ConSol team.
Containerized End-2-End Testing beim #JSD2016
Friday, September 30, 2016 in Insights
Der JUG Saxony Day fand am 30.09.2016 im Konferenzzentrum Radisson Blu Park Hotel in Dresden statt. Die von Anfang an gute und entspannte Atmosphäre beeindruckte ebenso wie die Auswahl der Vorträge. Insgesamt waren es über 30 Vorträge in 5 parallelen Tracks, die sowohl die aktuellen Trends in der Container-Technologie behandelten, Überblick über die neuesten Testing-Konzepte zeigten als auch einen Ausblick auf das zukünftige JDK 9 in petto hatten. In dem Talk Containerized End-2-End Testing wurde über die Konzeption von End-2-End-Tests gesprochen. Die Frage, wie die Testausführung robust, reproduzierbar und skalierbar gestaltet werden kann, ist beim Aufbau einer automatisierten Testumgebung immer noch eines der größten Probleme. Einen eleganten Ausweg bieten in Container verpackte …
Vorhersage von Performancedaten
Monday, September 19, 2016 in Insights
Oft kommt die Frage auf ob man mit den Performancedaten, die von Nagios und ähnlichen System erhoben werden, nicht auch Vorhersagen treffen kann, etwa wie sich die Systeme in den nächsten Tagen und Wochen entwickeln. Aus diesem Grund wird im Folgenden vorgestellt, wie man dies erreichen kann. „Wir wissen doch, wie sich die Festplatte die letzten Wochen gefüllt hat. Können wir nicht bestimmten wann die Festplatte voll ist?“ Aussagen wie diese kommen immer wieder auf, man kann jetzt sagen „das sieht man doch“, aber wenn man doch lieber konkrete Zahlen haben möchte, ist man hier doch sehr schnell aufgeschmissen. Da es seit einiger Zeit die Möglichkeit gibt, die Messdaten per Nagflux in eine InfluxDB zu schrieben, bietet sich dies perfekt an, das Problem anzugreifen, da man durch diese …
11. Workshop der Open-Source-Monitoring-Community in Kiel
Monday, September 12, 2016 in Insights
Kiel, 24 Grad, 50 Mann an Bord. Bei unerwartet schönstem Sommerwetter wurde in der Kieler Fachhochschule am 7. und 8. September der elfte Workshop der Monitoring-Community veranstaltet. Das ConSol-Monitoringteam trug mit acht Vorträgen zum Gelingen der Veranstaltung bei. Eine kurze Zusammenfassung: Bereits mit dem erstem Vortrag nach der Begrüßung, “E2E-Monitoring mit Sakuli”, sorgte Simon Meggle für einen würdigen und technisch anspruchsvollen Auftakt der Veranstaltung. Die Möglichkeit, Sakuli in Docker-Containern einzusetzen und End-to-End-Tests somit praktisch beliebig zu parallelisieren, sorgte für viel Gesprächsstoff. Damit es jeder zu Hause nachmachen kann, führte Simon dann am zweiten Tag die Teilnehmer in einer Live-Demo durch sein Tutorial “Sakuli-Tests im Docker-Container”. …
PromCon Video: grok_exporter
Friday, September 09, 2016 in Insights
PromCon 2016 was the first conference around the Prometheus monitoring system. It took place from August 25 - 26 2016 at Google Berlin as a single-track event with space for 80 attendants. We took the opportunity and did a lightning talk introducing grok_exporter, which is a tool for extracting Prometheus metrics from application logs. All conference videos are available on the PromCon Youtube playlist. Watch the grok_exporter introduction here: For more posts on Prometheus, view https://labs.consol.de/tags/PrometheusIO
Containerized End-2-End-Testing beim Herbstcampus Nürnberg
Wednesday, August 31, 2016 in Insights
Mit seinem Vortrag “Containerized End-2-End-Testing” war Tobi am 31.08. als Redner beim Herbstcampus 2016 in Nürnberg. Tobias Schneck: Containerized End-2-End-Testing Bei der Konzeption von End-2-End-Tests ist eines der größten Probleme die Frage, wie die Testausführung möglichst robust, reproduzierbar und skalierbar gestaltet werden kann. Diese Hürde lässt sich mit klassischen Ansätzen nicht überwinden. Einen eleganten Ausweg bieten in Container verpackte Testumgebungen. Dadurch wird es möglich, einen definierten Systemstand reproduzierbar aufzurufen und Tests performant auszuführen. Es wird zeigt, wie z.B. parallele GUI-Tests in verschiedenen Umgebungen zur Qualitätssicherung beitragen. Die Beispiele sind mit dem Open-Source-Tools Sakuli und Docker realisiert und testen Web- und …
Counting Errors with Prometheus
Saturday, August 13, 2016 in Insights
Counting the number of error messages in log files and providing the counters to Prometheus is one of the main uses of grok_exporter, a tool that we introduced in the previous post. The counters are collected by the Prometheus server, and are evaluated using Prometheus’ query language. The query results can be visualized in Grafana dashboards, and they are the basis for defining alerts. We found that evaluating error counters in Prometheus has some unexpected pitfalls, especially because Prometheus’ increase() function is somewhat counterintuitive for that purpose. This post describes our lessons learned when using increase() for evaluating error counters in Prometheus. Example Scenario In our tests, we use the following example scenario for evaluating error counters: An application …
Ansible im Monitoring-Umfeld
Friday, August 05, 2016 in Insights
Am 27.7. fand bei ConSol das Sommer-Meetup der Gruppe “Münchner Monitoring-Stammtisch” statt. Das Thema war diesmal “Ansible im Monitoring-Umfeld”. Ansible ist ein Framework, mit dem üblicherweise Server nach der Grundinstallation nachkonfiguriert und mit ausgewählten Softwarepaketen versorgt werden. Oder mit dem im laufenden Betrieb immer wieder Patches und sonstige Updates ausgerollt werden. Dabei wird in einem sogenannten Ansible-Playbook lediglich der Soll-Zustand beschrieben und Ansible kümmert sich im Hintergrund um die dazu nötigen Aktionen. Das hat grundsätzlich noch nichts mit Monitoring zu tun, aber da wir über den Tellerrand hinausschauen und bei allen Kunden keine Insel installieren, sondern Teil einer Unternehmens-IT mit allen möglichen Verflechtungen sind, gehört Ansible …
Extracting Prometheus Metrics from Application Logs
Sunday, July 31, 2016 in Insights
Prometheus is an open-source systems monitoring and alerting toolkit. At its core, Prometheus uses time-series data, and provides a powerful query language to analyze that data. Most Prometheus deployments integrate Grafana dashboards and an alert manager. Prometheus is mainly intended for white box monitoring: Applications either provide Prometheus metrics natively, or they are instrumented with an exporter to make application-specific metrics available. For some applications, parsing log files is the only way to acquire metrics. The grok_exporter is a generic Prometheus exporter extracting metrics from arbitrary unstructured log data. This post shows how to use grok_exporter to extract metrics from log files and make them available to the Prometheus monitoring toolkit. Example Log Data …
IDoc-Monitoring mit check_sap_health
Friday, July 22, 2016 in Insights
IDoc ist das Austauschformat von SAP ERP-Systemen, welches benutzt wird, um per Import und Export Daten sowohl untereinander als auch mit Fremdsystemen auszutauschen. Typische Beispiele solcher Daten sind Bestellungen, Lieferscheine, Überweisungen, Stundenbuchungen, etc. Ein IDoc besitzt neben Control- und Data-Records auch Status-Records, in denen jeder einzelne Verarbeitungsschritt protokolliert wird. Diese Status-Records werden in der Tabelle EDIDS gespeichert. Die neue Version 1.9 von check_sap_health kennt den Mode failed-idocs, mit dem in EDIDS nach Fehlermeldungen gesucht wird. Dabei wird der Zeitraum der letzten Stunde betrachtet. Will man den CRITICAL-Status länger aufrecht erhalten, so kann man mit --lookback die Suche nach Fehlern (Status E oder W) in den Status-Records weiter …
Schnelles Anlegen eines Monitoring-Users mit check_mssql_health
Tuesday, June 28, 2016 in Insights
Seit der Version 2.6.3 von check_mssql_health ist es möglich, den für das Monitoring benötigten Datenbankbenutzer direkt vom Plugin erzeugen zu lassen. Angenommen, der Benutzer soll NAGIOS heißen und das dazugehörige Passwort ES_ku_el. Der Plugin-Aufruf lautet dann: $ check_mssql_health --hostname dbsrv1 --port 1433 \ --username sa --password 'Str3ng!g3heim' \ --mode create-monitoring-user \ --name NAGIOS --name2 'ES_Ku_el' Anstelle des Benutzers sa kann man auch jeden beliebigen Administrator-Account nehmen. NAGIOS wird in jeder einzelnen Datenbank angelegt. Kommen neue Datenbanken dazu, so wiederholt man einfach den create-monitoring-user-Befehl.