Evaluation of Time-Series Predictions with powerful pdf and web Reporting, tailored for evaluation of metrics over time.
Krisi
Evaluation of Time-Series Predictions with powerful pdf and web Reporting, tailored for evaluation of metrics over time.
KRISI
(/creesee/)
Evaluation and Reporting Framework for Time Series Forecasting
Check Examples ~
Explore the docs ยป
Krisi is a Scoring library for Time-Series Forecasting. It calculates, stores and vizualises the performance of your predictions!
Krisi is tailored to measure performance over time (metrics over time). It is from the ground-up extensible and lightweight and comes with fundamental metrics for regression, classification and residual diagnostics.
It can generate reports in:
- static PDF (with
plotly
) - interactive web (HTML) (with
plotly
) - pretty formatted for console (with
rich
andplotext
) - each figure displayed or saved as an svg

Krisi solves the following problems
-
Missing Rolling window based evaluation.
โ Krisi supports evaluating metrics over time. - Most TS libraries attach reporting to modelling (eg.: Darts, Statsmodel).
โ Krisi is independent of any modeling method or library. -
Extendability is tedious: only works by subclassing objects.
โ Krisi supports easy configuration of custom metrics along with an extensive library of predefined metrics. -
Too many dependencies.
โ Krisi has few hard dependencies (only core libaries, eg.: sklearn and plotting libraries). -
Visualisation results are too basic.
โ With Krisi you can decide to share and interactive web, a static PDF, each metric diagram displayed inline or quickly look at the ScoreCard pretty printed to the console.
Installation
The project was entirely built in python
.
Prerequisites
python >= 3.8
andpip
Then run:
pip install krisi
If you'd like to also use interactive plotting (html) and pdf generation then run:
pip install krisi "krisi[plotting]"
Quickstart
You can quickly evaluate your predictions by running:
import numpy as np
from krisi.evaluate import score
print(score(y=np.random.rand(100), predictions=np.random.rand(100)))
Outputs:
Model_20230505-15094466243320 <- you can add your name here
Mean Absolute Error 0.115402
Mean Absolute Percentage Error 3.272862
Symmetric Mean Absolute Percentage Error 0.718754
Mean Squared Error 0.020945
Root Mean Squared Error 0.144723
R-squared -1.108832
Mean of the Residuals -0.002094
Standard Deviation of the Residuals 0.144781
Krisi's main object is the ScoreCard
that contains predefined Metric
s and which you can add further Metric
s to.
import numpy as np
from krisi import score
sc = score(
y=np.random.random(1000),
predictions=np.random.random(1000),
).print()
Outputs:
โโ Result of Model_20230505-130632d68aefea on Dataset_20230505-130632d4167ca4 tested on outofsamโโ
โ โ
โ Targets and Predictions Analysis โ
โ โญโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโฌโโโโโโโโโโโโโฎ โ
โ โ Series Type โ Histogram โ Types โ Indicies โ โ
โ โโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโผโโโโโโโโโโโโโค โ
โ โ Targets โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ NaNs: 0 โ Start: 0 โ โ
โ โ โ 75.0โค โโ โ โ dtype: โ End: 999 โ โ
โ โ โ 50.0โค โโโโโโโโโโโโโโ โ โ float64 โ โ โ
โ โ โ 25.0โค โโ โโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ โ
โ โ โ 0.0โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ โ
โ โ โ -0.30 -0.14 0.02 0.18 0.34 โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโผโโโโโโโโโโโโโค โ
โ โ Predictions โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ NaNs: 0 โ Start: 0 โ โ
โ โ โ 68.0โค โ โโ โ โ dtype: โ End: 999 โ โ
โ โ โ 45.3โค โโโโโโโโโโโโโโโ โ โ float64 โ โ โ
โ โ โ 22.7โค โโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ โ
โ โ โ 0.0โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โโโ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ โ
โ โ โ -0.29 -0.13 0.03 0.19 0.34 โ โ โ โ
โ โฐโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโดโโโโโโโโโโโโโฏ โ
โ Residual Diagnostics โ
โ โญโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโฎ โ
โ โ Metric Name โ Result โ Parameters โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Residuals โ 0 0.055378 โ {} โ โ
โ โ (residuals) โ 1 -0.077456 โ โ โ
โ โ โ 2 -0.102910 โ โ โ
โ โ โ 3 -0.088878 โ โ โ
โ โ โ 4 -0.137035 โ โ โ
โ โ โ ... โ โ โ
โ โ โ 995 0.153345 โ โ โ
โ โ โ 996 0.222105 โ โ โ
โ โ โ 997 0.022042 โ โ โ
โ โ โ 998 0.013997 โ โ โ
โ โ โ 999 0.068374 โ โ โ
โ โ โ Length: 1000, dtype: float64 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Ljung Box โ lb_stat lb_pvalue โ {} โ โ
โ โ Statistics โ 1 0.410131 0.521903 โ โ โ
โ โ (ljung_box_statistโฆ โ 2 0.411774 0.813925 โ โ โ
โ โ โ 3 0.541798 0.909617 โ โ โ
โ โ โ 4 4.200716 0.379523 โ โ โ
โ โ โ 5 4.217347 0.518566 โ โ โ
โ โ โ 6 5.934770 0.430537 โ โ โ
โ โ โ 7 9.905078 0.194017 โ โ โ
โ โ โ 8 10.020619 0.263582 โ โ โ
โ โ โ 9 11.102783 0.268729 โ โ โ
โ โ โ 10 11.268537 0.336983 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean of the โ -0.002 โ {} โ โ
โ โ Residuals โ โ โ โ
โ โ (residuals_mean) โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Standard Deviation โ 0.145 โ {} โ โ
โ โ of the Residuals โ โ โ โ
โ โ (residuals_std) โ โ โ โ
โ โฐโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโฏ โ
โ Forecast Errors - Regression โ
โ โญโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโฎ โ
โ โ Mean Absolute Error โ 0.117 โ {} โ โ
โ โ (mae) โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean Absolute โ 7.322 โ {} โ โ
โ โ Percentage Error โ โ โ โ
โ โ (mape) โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Symmetric Mean โ 0.727 โ {} โ โ
โ โ Absolute Percentage โ โ โ โ
โ โ Error (smape) โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean Squared Error โ 0.021 โ {'squared': True} โ โ
โ โ (mse) โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Root Mean Squared โ 0.145 โ {'squared': False} โ โ
โ โ Error (rmse) โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Root Mean Squared โ 'Mean Squared Logarithmic Error cannot be used โ {'squared': False} โ โ
โ โ Log Error (rmsle) โ when targets contain negative values.' โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ R-squared (r_two) โ -0.982 โ {} โ โ
โ โฐโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโฏ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Evaluating Metric
s over time (on a rolling basis).
import numpy as np
from krisi import score
score(
y=np.random.rand(10000),
predictions=np.random.rand(10000),
calculation="rolling",
).print()
Outputs:
โโ Result of Model_20230505-1303447c37e983 on Dataset_20230505-130344cea0de16 tested on outofsamโโ
โ โ
โ Targets and Predictions Analysis โ
โ โญโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโฌโโโโโโโโโโโโโฎ โ
โ โ Series Type โ Histogram โ Types โ Indicies โ โ
โ โโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโผโโโโโโโโโโโโโค โ
โ โ Targets โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ NaNs: 0 โ Start: 0 โ โ
โ โ โ 14.0โค โโ โ โ dtype: โ End: 249 โ โ
โ โ โ 11.7โค โโ โ โ โ float64 โ โ โ
โ โ โ 9.3โค โโโโ โโ โ โโ โโ โ โ โ โ โ
โ โ โ 7.0โคโโ โโโโโโโโโโโโ โ โ โโโโโโโ โโ โโ โโโโ โ โ โ โ โ
โ โ โ 4.7โคโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโ โ โ โ โ
โ โ โ 2.3โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ
โ โ โ 0.0โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ โ
โ โ โ -0.00 0.25 0.50 0.75 1.00 โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโผโโโโโโโโโโโโโค โ
โ โ Predictions โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ NaNs: 0 โ Start: 0 โ โ
โ โ โ 11.0โค โโ โ โ dtype: โ End: 249 โ โ
โ โ โ 9.2โค โโโ โโ โ โ โโโ โ float64 โ โ โ
โ โ โ 7.3โค โโ โโโโโโโโโโ โโโโ โ โโ โโโ โโโโโ โ โ โ โ
โ โ โ 5.5โค โโโโโโโโโโโโโโ โโโโ โโโโโโโโโโโโโโโโโโ โ โ โ โ
โ โ โ 3.7โคโโโโโโโโโโโโโโโโโ โโโโ โโโโโโโโโโโโโโโโโโ โ โ โ โ
โ โ โ 1.8โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ
โ โ โ 0.0โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ โ
โ โ โ -0.01 0.25 0.50 0.76 1.01 โ โ โ โ
โ โฐโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโดโโโโโโโโโโโโโฏ โ
โ Residual Diagnostics โ
โ โญโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโฎ โ
โ โ Metric Name โ Result โ Parameters โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Residuals โ 0 -0.224918 โ {} โ โ
โ โ (residuals) โ 1 0.250975 โ โ โ
โ โ โ 2 0.206893 โ โ โ
โ โ โ 3 0.632068 โ โ โ
โ โ โ 4 0.467366 โ โ โ
โ โ โ ... โ โ โ
โ โ โ 245 0.336682 โ โ โ
โ โ โ 246 0.132184 โ โ โ
โ โ โ 247 -0.339346 โ โ โ
โ โ โ 248 0.422431 โ โ โ
โ โ โ 249 -0.424224 โ โ โ
โ โ โ Length: 250, dtype: float64 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Ljung Box โ 'zero-size array to reduction operation maximum โ {} โ โ
โ โ Statistics โ which has no identity' โ โ โ
โ โ (ljung_box_statistโฆ โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean of the โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {} โ โ
โ โ Residuals โ 0.73โค โ โ โ โ โ โ
โ โ (residuals_mean) โ 0.51โคโโโ โ โ โโ โ โ โ โ โ โ โ
โ โ โ 0.28โคโโโโโโโโโโโโโโโโโโโโโ โโ โ โ โโโโโโ โโ โโ โ โ โ
โ โ โ 0.05โคโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ -0.18โคโโโโโโโโ โโ โโโ โโโโโโโโโโโโโ โโโโโโโโโโโ โ โ โ
โ โ โ -0.41โค โ โโโโโ โโ โ โโโ โโโโโโ โโโโโโโ โโ โ โ โ
โ โ โ -0.63โค โ โ โ โ โ โ โโ โ โโโ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Standard Deviation โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {} โ โ
โ โ of the Residuals โ 0.70โค โโ โ โ โ โ โ โ
โ โ (residuals_std) โ 0.58โค โ โโ โโ โ โ โ โ โ โ โโ โ โ โ โ
โ โ โ 0.47โค โโ โโโโโ โ โโ โ โโ โโ โ โโ โโ โ โ โ โ
โ โ โ 0.35โค โโโ โโโโโโโ โโโโ โโโโโ โโ โโโโ โโโโโโโโโ โ โ โ
โ โ โ 0.23โค โโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ 0.12โคโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโ โโโโโ โ โ โ
โ โ โ 0.00โคโ โโ โโโโโโ โ โโโโ โ โ โ โโ โ โโโโ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โฐโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโฏ โ
โ Forecast Errors - Regression โ
โ โญโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโฎ โ
โ โ Mean Absolute Error โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {} โ โ
โ โ (mae) โ 0.73โค โโโ โ โ โ โ โ
โ โ โ 0.61โคโ โโโโ โโ โ โ โโ โโ โโ โโ โโ โ โ โ โ
โ โ โ 0.49โคโโโ โโโโ โโ โ โโโโ โโโโโโโโ โโโโโโโโ โ โ โ โ
โ โ โ 0.38โคโโโโโโโโโโโโโโ โโโโโ โโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ 0.26โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโโ โ โ โ
โ โ โ 0.14โค โ โ โ โ โ โโ โโ โโโโโโ โ โโโ โ โ โ โ โ โ
โ โ โ 0.02โค โ โ โ โโ โ โ โ โ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean Absolute โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {} โ โ
โ โ Percentage Error โ 38.2โค โโ โ โ โ โ
โ โ (mape) โ 31.8โค โโ โ โ โ โ
โ โ โ 25.5โค โโ โโ โ โ โ โ
โ โ โ 19.1โค โโ โ โโ โ โ โ โ
โ โ โ 12.7โค โโ โโ โ โโ โ โ โ โ
โ โ โ 6.4โค โโโ โโ โ โ โ โโ โ โ โ โ โ โ
โ โ โ 0.0โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Symmetric Mean โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {} โ โ
โ โ Absolute Percentage โ 0.90โค โโโ โ โ โ โ
โ โ Error (smape) โ 0.75โค โโโโ โ โ โ โโ โ โ โ โ โ
โ โ โ 0.60โคโโ โโโโโโโโ โโโโโ โ โ โโโโโ โ โ โโ โ โ โ
โ โ โ 0.46โคโโโโโโโโโโโโโ โโโโโโ โโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ 0.31โคโโโโโโ โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ 0.16โคโ โ โโ โ โโโโ โโโโโโโโโ โโโโโโ โโโโ โ โ โ โ โ
โ โ โ 0.02โค โ โโ โ โ โ โ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean Squared Error โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {'squared': True} โ โ
โ โ (mse) โ 0.548โค โโโ โ โ โ โ
โ โ โ 0.457โค โโโ โโ โ โ โ โ โ โ โ
โ โ โ 0.366โค โโโโ โ โ โ โโ โ โ โโ โโโโ โ โ โ โ
โ โ โ 0.274โคโโโ โโโโโโโโโ โโโ โ โโโโ โโโโโโโโโโโ โ โ โ โ
โ โ โ 0.183โคโโโ โโโโโโโโโโโ โโโโโโโโโ โโโโโโโโโโโโ โ โ โ โ
โ โ โ 0.092โคโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โ โ โ
โ โ โ 0.000โคโ โ โโ โโโ โโโ โโ โโโโโ โโโโโโ โ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Root Mean Squared โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {'squared': False} โ โ
โ โ Error (rmse) โ 0.74โค โโโ โ โ โ โ โ โ โ
โ โ โ 0.62โคโ โโโโ โโ โ โโโ โโ โ โโ โโโโโโโโ โ โ โ โ
โ โ โ 0.50โคโโโ โโโโ โโโโ โโโโโ โโโโโโโโโโโโโโโโโโ โ โ โ โ
โ โ โ 0.38โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ 0.26โคโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โโ โโโ โ โ โ
โ โ โ 0.14โค โ โ โ โโ โโ โโ โโ โ โโโ โ โ โ โ โ
โ โ โ 0.02โค โ โ โ โโ โ โ โ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Root Mean Squared โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {'squared': False} โ โ
โ โ Log Error (rmsle) โ 0.533โค โ โ โ โ โ โ
โ โ โ 0.447โค โโโโ โ โ โ โโ โ โโ โโ โ โ โ โ โ โ
โ โ โ 0.361โคโโโ โโโโ โโ โ โโโโ โโโโ โโโโโโโโโโโ โ โ โ โ
โ โ โ 0.275โคโโโโโโโโโโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโ โ โ โ
โ โ โ 0.189โคโ โโโโโ โโโโโโโโโโโโโโโโโ โโโโโโโโโโโ โโโ โ โ โ
โ โ โ 0.102โคโ โ โโ โโ โโ โโ โโโโโ โโโโโโ โ โ โ โ โ
โ โ โ 0.016โค โ โโ โโ โโ โ โ โ โ โ โ โ โ
โ โ โ โโฌโโโโโโโโโโฌโโโโโโโโโโฌโโโโโโโโโฌโโโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโค โ
โ โ R-squared (r_two) โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ {} โ โ
โ โ โ 1.0โคโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ โ โ โ
โ โ โ -242903.5โค โโ โ โ โ โ
โ โ โ -485808.0โค โโ โ โ โ โ
โ โ โ -728712.5โค โโ โ โ โ โ
โ โ โ -971617.0โค โโ โ โ โ โ
โ โ โ -1214521.4โค โโ โ โ โ โ
โ โ โ -1457425.9โค โโ โ โ โ โ
โ โ โ โโฌโโโโโโโโโฌโโโโโโโโฌโโโโโโโโโฌโโโโโโโโฌโ โ โ โ
โ โ โ 1 32 63 94 125 โ โ โ
โ โฐโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโฏ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
You can also show the results in a Report easily:
import numpy as np
from krisi import score
score(
y=np.random.rand(10000),
predictions=np.random.rand(10000),
calculation="rolling",
).generate_report('pdf')
Generates:

Default Metrics
See evaluate/library
for source.
Contributors are continously adding new default metrics, press watch to keep track of the project and see in issues planned default metrics.
Residual Diagnostics
- Mean of the Residuals
- Standard Deviation of the Residuals
- Ljung Box Statistics
- (wip) Autocorrelation of Residuals
Regression Errors
- Mean Absolute Error
- Mean Absolute Percentage Error
- Symmetric Mean Absolute Percentage Error
- Mean Squared Error
- Root Mean Squared Error
- Root Mean Squared Log Error
- R-squared
Classification Errors
- Matthew Correlation Coefficient
- F1 Score
- Precision
- Recall
- Accuracy
Examples, Walkthroughs and Blog Posts
Name | Type | Dataset Type | Docs Link | Colab |
---|---|---|---|---|
โก๏ธ Core Walkthrough | Walkthrough | Synthetic | Notebook | Colab |
๐ Collapsed Metrics vs Metrics over Time | Walkthrough | Energy | - | Colab |
๐ Example Collection | Example | Synthetic | Collection Link | - |
Our Open-core Time Series Toolkit
If you want to try them out, we'd love to hear about your use case and help, please book a free 30-min call with us!
Advanced usage
Creating Metric
s with metadata.
import numpy as np
from krisi.evaluate import Metric, MetricCategories, ScoreCard
# Random targets and predictions for Demo
target, predictions = np.random.rand(100), np.random.rand(100)
# Create ScoreCard
sc = ScoreCard(target, predictions)
# Calculate a random metric for Demo
calculated_metric_example = (target - predictions).mean()
# Adding a simple new metric (a float)
# As a Dictionary:
sc["metric_barebones"] = calculated_metric_example
# As an Object assignment:
sc.another_metric_barebones = calculated_metric_example * 2.0
sc["metric_with_metadata"] = Metric(
name="A new, own Metric",
category=MetricCategories.residual,
result=calculated_metric_example * 3.0,
parameters={"hyper_1": 5.0},
)
# Updating the metadata of an existing metric
sc.metric_barebones = dict(info="Giving description to a metric")
# Print a pretty summary to the console
sc.print(with_info=True)
Outputs:
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ Result of <your_model_name> on <your_dataset_name> tested on insample โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ โ
โ Residual Diagnostics โ
โ โญโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฎ โ
โ โ Metric Name โ Result โ Parameters โ Info โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean of the โ 0.035 โ {} โ '' โ โ
โ โ Residuals โ โ โ โ โ
โ โ (residuals_mean) โ โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Standard Deviation โ 0.42 โ {} โ '' โ โ
โ โ of the Residuals โ โ โ โ โ
โ โ (residuals_std) โ โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ A new, own Metric โ 0.105 โ {'hyper_1': 5.0} โ 'Giving description to a โ โ
โ โ (yet_another_metriโฆ โ โ โ metric' โ โ
โ โฐโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฏ โ
โ Forecast Errors - Regression โ
โ โญโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฎ โ
โ โ Mean Absolute Error โ 0.35 โ {} โ '(Mean absolute error) โ โ
โ โ (mae) โ โ โ represents the difference โ โ
โ โ โ โ โ between the original and โ โ
โ โ โ โ โ predicted values extracted by โ โ
โ โ โ โ โ averaged the absolute โ โ
โ โ โ โ โ difference over the data set.' โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean Absolute โ 2.543 โ {} โ '' โ โ
โ โ Percentage Error โ โ โ โ โ
โ โ (mape) โ โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Mean Squared Error โ 0.178 โ {'squared': True} โ '(Mean Squared Error) โ โ
โ โ (mse) โ โ โ represents the difference โ โ
โ โ โ โ โ between the original and โ โ
โ โ โ โ โ predicted values extracted by โ โ
โ โ โ โ โ squared the average difference โ โ
โ โ โ โ โ over the data set.' โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Root Mean Squared โ 0.421 โ {'squared': False} โ '(Root Mean Squared Error) is โ โ
โ โ Error (rmse) โ โ โ the error rate by the square โ โ
โ โ โ โ โ root of Mean Squared Error.' โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ Root Mean Squared โ 0.29 โ {'squared': False} โ '' โ โ
โ โ Log Error (rmsle) โ โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ R-squared (r2) โ -1.28 โ {} โ '(Coefficient of determination) โ โ
โ โ โ โ โ represents the coefficient of โ โ
โ โ โ โ โ how well the values fit โ โ
โ โ โ โ โ compared to the original โ โ
โ โ โ โ โ values. The value from 0 to 1 โ โ
โ โ โ โ โ interpreted as percentages. The โ โ
โ โ โ โ โ higher the value is, the better โ โ
โ โ โ โ โ the model is.' โ โ
โ โฐโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฏ โ
โ Unknown โ
โ โญโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโฌโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฎ โ
โ โ own_metric โ 0.035 โ {} โ '' โ โ
โ โ (own_metric) โ โ โ โ โ
โ โโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโผโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโค โ
โ โ another_metric โ 0.07 โ {} โ '' โ โ
โ โ (another_metric) โ โ โ โ โ
โ โฐโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฏ โ
โ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
Contribution
Join our Discord for live discussion!
Submit an issue or reach out to us on info at dream-faster.ai for any inquiries.