Time Series Forecasting

Abstract

The evolving landscape of the energy industry has heightened the demand for precise consumption forecasting tools, traditionally concentrated on electricity. However, the geopolitical significance of natural gas has propelled the need for forecasting tools in the gas sector. This thesis addresses the criticality of accurate forecasting in the natural gas and electricity domains, which helps to overcome logistical and operation optimization challenges. The thesis proposes a methodology focused on multi-step forecasting, which is based on machine and deep learning algorithms tailored for forecasting tasks in the energy domain. The methodology is evaluated on real-world datasets, demonstrating its effectiveness in handling complex forecasting tasks. Comparative experiments between traditional statistical models and machine learning and deep learning approaches reveal the superiority of machine learning models in terms of accuracy for forecasts of natural gas and electricity consumption. Deep learning models present intermediate results between machine learning- and statistical-based models, suggesting their potential as alternatives to traditional machine learning approaches. However, relying on longer input sequences poses a challenge. In contrast, machine learning methods, while requiring less input data, rely more on engineered features, allowing the incorporation of domain knowledge. A novel evaluation metric, called the Change Point Neighborhood Error (CPNE) was defined. The purpose of the metric is to provide a distinctive measure of the forecast accuracy of the proposed models in parts of the time series where a change point or a data drift emerges. Insights gained from analysis of a change point effects on a forecasting error lead to a definition of multi-step forecasting methodology with change point detection integration and incremental (continual) learning capabilities utilizing Hoeffding tree predictors and Pruned Exact Linear Time algorithm in its core. The integration of change point detection enables the selection of a different model collection for successive time frames. The defined methodology was then evaluated for forecasting scenarios with various densities of detected change points. Models based on this methodology were compared with change point-agnostic baseline approaches and deep learning models. The results of the experiment show that the proposed approach provides better results than deep learning models for the evaluated datasets and that fewer change points generally result in a lower forecasting error. The findings contribute to the ongoing discussion on the advantages and limitations of machine learning and deep learning models, paving the way for future research to explore specific conditions that favor their effectiveness in forecasting energy consumption.

Rozvíjející se prostředí energetického průmyslu zvýšilo poptávku po přesných nástrojích pro předpovídání spotřeby, které se tradičně zaměřují na elektřinu. Geopolitický význam zemního plynu však podpořil potřebu predikčních nástrojů v odvětví právě zemního plynu. Tato práce se zabývá problematikou přesného předpovídání v oblasti zemního plynu a elektřiny, které pomáhá překonávat logistické a provozní optimalizační problémy. Práce navrhuje metodiku zaměřenou na vícekrokové predikce, která je založena na algoritmech strojového a hlubokého učení přizpůsobených pro predikční úlohy v oblasti energetiky. Metodika je vyhodnocena na reálných datových souborech a prokazuje svou účinnost při řešení komplexních predikčních úloh. Srovnávací experimenty mezi tradičními statistickými modely a přístupy strojového a hlubokého učení odhalují převahu modelů strojového učení, pokud jde o přesnost předpovědí spotřeby zemního plynu a elektřiny. Modely založené na hlubokém učení poskytují mezilehlé výsledky mezi modely založenými na strojovém učení a tradičními modely založenými na statistice, což dokládá jejich potenciál poskytnout alternativu k tradičním přístupům strojového učení. Výzvu nicméně představuje jejich závislost na delších vstupních sekvencích dat. Naopak metody strojového učení sice vyžadují méně vstupních dat, ale spoléhají se více na výběr a předzpracování vstupních dat, což umožňuje začlenit doménové znalosti z dané oblasti. Byla definována nová hodnotící metrika nazvaná Change Point Neighborhood Error (CPNE). Účelem této metriky je poskytnout rozlišující míru přesnosti předpovědi navrhovaných modelů v částech časové řady, kde se objevuje bod změny nebo fundamentální změny dat. Poznatky získané na základě analýzy vlivu bodů změny na chybu předpovědi vedly k definici metodiky předpovědi s integrací detekce bodu změny a možností inkrementálního (kontinuálního) učení s využitím Hoeffdingových stromových prediktorů a algoritmu Pruned Exact Linear Time v jejím jádru. Integrace detekce bodu změny umožňuje výběr jiné kolekce modelů pro po sobě jdoucí časové rámce. Definovaná metodika byla následně vyhodnocena pro scénáře s různou hustotou detekovaných bodů změn. Modely založené na této metodice byly porovnány se základními přístupy nepracující s body změny a s modely založenými na hlubokém učení. Výsledky experimentu ukazují, že navrhovaný přístup využívající Hoeffdingových stromů poskytuje lepší výsledky než modely hlubokého učení, a dále, že menší počet detekovaných bodů změn obecně vede k nižší chybě předpovědi. Zjištění přispívají k probíhající diskusi o výhodách a omezeních modelů strojového a hlubokého učení v rámci predikce časových řad a otevírají cestu k budoucímu výzkumu, který by měl prozkoumat specifické podmínky, které podporují jejich účinnost při předpovídání spotřeby energií.