{"id":3129,"date":"2024-01-03T16:55:17","date_gmt":"2024-01-03T15:55:17","guid":{"rendered":"https:\/\/informatik.htwk-leipzig.de\/seminar\/?p=3129"},"modified":"2024-03-19T17:39:48","modified_gmt":"2024-03-19T16:39:48","slug":"clickhouse","status":"publish","type":"post","link":"https:\/\/informatik.htwk-leipzig.de\/seminar\/lehrveranstaltungen\/betriebliche-informationssysteme\/2024\/clickhouse\/","title":{"rendered":"ClickHouse"},"content":{"rendered":"

Motivation<\/h1>\n

Fast alle betrieblichen Informationssysteme m\u00fcssen auf Daten zugreifen und diese ver\u00e4ndern und speichern k\u00f6nnen. Je nach Anwendungsfall und Unternehmensgr\u00f6\u00dfe kann sowohl die Menge, als auch die Struktur der vorhandenen Daten variieren. So kann es beispielsweise in Gro\u00dfunternehmen sehr viele verschiedene Datenquellen geben, wodurch die Informationsverwaltung schnell sehr komplex und un\u00fcbersichtlich werden kann. Um einen effizienten Unternehmensprozess garantieren zu k\u00f6nnen, ist jedoch ein performanter Zugang zu relevanten Daten erforderlich. Um dieser Anforderung gerecht werden zu k\u00f6nnen, werden oftmals Database Management Systeme (DBMS) eingesetzt. DBMS bezeichnet Software, welche zur Erstellung und Verwaltung von Datenbank verwendet wird. Sie dient gleichzeitig als Schnittstelle zwischen den End-Nutzern und den Daten. Clickhouse ist ein OLAP DBMS, welches sehr hohe Performance vor allem f\u00fcr analytische Berichterstattung verspricht.<\/p>\n

Was ist OLAP?<\/h1>\n

OLAP steht f\u00fcr \u201cOnline Analytical Processing\u201d und bezeichnet DBMS, welche auf die Analyse von gro\u00dfen vorhandenen Datenmengen spezialisiert sind. Solche Systeme sind sehr gut geeignet, um Daten von verschiedenen Quellen zusammenzuf\u00fchren und anschlie\u00dfend analytische Berichte zu erstellen. Dies erm\u00f6glicht z.B. Unternehmen, ihre Gesch\u00e4ftsdaten umfassend zu untersuchen und strategische Entscheidungen zu treffen.
\nDas Gegenst\u00fcck zu OLAP bildet OLTP, was f\u00fcr \u201cOnline Transactional Processing\u201d steht. Bei OLTP-Systemen liegt der Fokus auf der effizienten Abwicklung von einer gro\u00dfen Anzahl an Transaktionen und damit einer kontinuierlichen Anpassung der Daten. DMBS k\u00f6nnen grundlegend zu einer der beiden Kategorien zugeordnet werden, jedoch ist es h\u00e4ufig erforderlich, dass ein System Anforderungen beider Kategorien erf\u00fcllen kann. Solche Systeme werden HTAP (\u201cHybrid Transactional \/ Analytical Processing\u201d) genannt.<\/p>\n

Besondere Eigenschaften von Clickhouse<\/h1>\n

Im Gegensatz zu zeilen-orientierten DBMS wie z.B. MySQL oder MS SQL Server handelt es sich bei Clickhouse um ein spalten-orientiertes DBMS. Der Unterschied liegt darin, wie die einzelnen Daten einer Tabelle in der Datenbank gespeichert werden. Zeilenorientierte DBMS speichern immer alle Daten einer Zeile zusammen, wie in folgendem Beispiel von der Clickhouse-Website:<\/a><\/p>\n

 <\/p>\n\n\n\n\n\n\n\n\n
Row<\/th>\nWatchID<\/th>\nJavaEnable<\/th>\nTitle<\/th>\nGoodEvent<\/th>\nEventTime<\/th>\n<\/tr>\n<\/thead>\n
#0<\/td>\n89354350662<\/td>\n1<\/td>\nInvestor Relations<\/td>\n1<\/td>\n2016-05-18 05:19:20<\/td>\n<\/tr>\n
#1<\/td>\n90329509958<\/td>\n0<\/td>\nContact us<\/td>\n1<\/td>\n2016-05-18 08:10:20<\/td>\n<\/tr>\n
#2<\/td>\n89953706054<\/td>\n1<\/td>\nMission<\/td>\n1<\/td>\n2016-05-18 07:38:00<\/td>\n<\/tr>\n
#N<\/td>\n\u2026<\/td>\n\u2026<\/td>\n\u2026<\/td>\n\u2026<\/td>\n\u2026<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Ein spalten-orientiertes DBMS wie Clickhouse speichert hingegen immer alle Daten einer Spalte, also eines Attributes zusammen. Die gleichen Daten w\u00fcrden also folgenderma\u00dfen gespeichert werden:<\/p>\n\n\n\n\n\n\n\n\n\n
Row:<\/th>\n#0<\/th>\n#1<\/th>\n#2<\/th>\n#N<\/th>\n<\/tr>\n<\/thead>\n
WatchID:<\/td>\n89354350662<\/td>\n90329509958<\/td>\n89953706054<\/td>\n\u2026<\/td>\n<\/tr>\n
JavaEnable:<\/td>\n1<\/td>\n0<\/td>\n1<\/td>\n\u2026<\/td>\n<\/tr>\n
Title:<\/td>\nInvestor Relations<\/td>\nContact us<\/td>\nMission<\/td>\n\u2026<\/td>\n<\/tr>\n
GoodEvent:<\/td>\n1<\/td>\n1<\/td>\n1<\/td>\n\u2026<\/td>\n<\/tr>\n
EventTime:<\/td>\n2016-05-18 05:19:20<\/td>\n2016-05-18 08:10:20<\/td>\n2016-05-18 07:38:00<\/td>\n\u2026<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Je nach Anwendungsfall bietet jedes System Vor- und Nachteile. Ein spalten-orientiertes System wie Clickhouse kann Daten unter Umst\u00e4nden kompakter und damit effizienter speichern, da die Werte einer Spalte immer den gleichen Typ haben. Die Werte werden zus\u00e4tzlich mit konstanter L\u00e4nge gespeichert, wodurch auf einen zus\u00e4tzlichen Wert f\u00fcr die Darstellung der L\u00e4nge verzichtet werden kann.
\nAu\u00dferdem verwenden Analyseberichte von den vielen vorhandenen Attributen (Spalten) oftmals nur einige wenige. Bei einem spalten-orientierten System k\u00f6nnen nur die relevanten Spalten ausgelesen werden, bei einem zeilen-orientierten System muss immer die gesamte Zeile ausgelesen und die relevanten Werte dann nochmal herausgefiltert werden. Dadurch kann Clickhouse in einem solchen Fall einen deutlich bessere Performance erreichen.<\/p>\n

Zus\u00e4tzlich bietet Clickhouse verschiedene Codecs zur Datenkomprimierung an, wodurch eine sehr gute Anpassung an den jeweiligen Anwendungsfall m\u00f6glich ist. Da die Daten einer Spalte immer vom gleichen Typ sind und sich oftmals nur geringf\u00fcgig unterscheiden, kann der ben\u00f6tigte Speicher durch eine geeignete Komprimierung deutlich reduziert werden. Clickhouse erm\u00f6glicht, f\u00fcr jede einzelne Spalte in einer Tabelle einen individuellen Komprimierungs-Codec anzuwenden. Dadurch kann auch die CPU-Auslastung beim Auslesen dieser Daten verringert werden.
\nWeiterhin ist Clickhouse in der Lage, die vorhandene Hardware effektiv zu nutzen, indem selbst f\u00fcr eine einzelne Query mehrere CPU-Kerne des Servers oder sogar des Server-Clusters genutzt werden. Dadurch ergibt sich auch eine sehr gute Skalierbarkeit des gesamten Systems. Neue Ressourcen oder auch bereits vorhandene Systeme k\u00f6nnen flexibel integriert werden und dadurch die Leistungsf\u00e4higkeit erh\u00f6hen.<\/p>\n

Um noch besser mit gro\u00dfen Datenmengen umgehen zu k\u00f6nnen, verwendet Clickhouse sogenanntes \u201csparse indexing\u201d. In traditionellen relationalen DBMS gibt es pro Tabelle einen Prim\u00e4rschl\u00fcssel mit einem Eintrag pro Tabellenzeile. Der Vorteil dabei ist, dass auf einzelne Zeilen sehr schnell zugegriffen werden kann, jedoch wird bei vielen Tabellenzeilen mehr Speicherplatz ben\u00f6tigt und das Hinzuf\u00fcgen neuer Eintr\u00e4ge ist aufw\u00e4ndiger. Im Gegensatz dazu steht das \u201csparse indexing\u201d, bei dem nur jede 8192te Zeile mit einem Indexeintrag versehen wird. Dadurch entstehen Teile in der Tabelle, sogenannte \u201cgranules\u201d. Werden nun Queries ausgef\u00fchrt, ermitteln diese zun\u00e4chst nur potentiell relevante granules, und nicht einzelne Zeilen. Diese granules werden anschlie\u00dfend weiterverarbeitet und die relevanten Zeilen werden ermittelt. Dies ist oft effizienter, da analytische Queries normalerweise nicht nur eine, sondern mehrere Zeilen als Ergebnis haben. Der Prim\u00e4rschl\u00fcssel kann beliebig konfiguriert werden und auch aus mehreren Spalten bestehen. Die Granularit\u00e4t kann angepasst werden, wobei 8192 Zeilen der Standard ist.<\/p>\n

\"(Quelle:
(Quelle: https:\/\/clickhouse.com\/docs\/en\/optimize\/sparse-primary-indexes)<\/figcaption><\/figure>\n

Voraussetzungen f\u00fcr eine gute Performance<\/h1>\n

OLAP DBMS sind nicht zwingend f\u00fcr alle Anwendungsf\u00e4lle die beste L\u00f6sung. Um abw\u00e4gen zu k\u00f6nnen, ob ein OLAP System zielf\u00fchrend ist, m\u00fcssen die individuellen Gegebenheiten analysiert werden. Folgende Bedingungen sind f\u00fcr ein effizientes OLAP DBMS f\u00f6rderlich:<\/p>\n