Bracia Koch i analiza danych: decyzje oparte na faktach

Kiedy człowiek zaczyna wierzyć, że ma wpływ na wynik, zwykle zapomina o jednej rzeczy. Liczby nie mają emocji. To my je w to emocje ubieramy, zanim jeszcze sprawdzimy, czy w ogóle pasują do rzeczywistości. W tamtych momentach nie chodzi o brak wiedzy. Chodzi o żal, o pośpiech i o potrzebę, żeby sprawy układały się po naszej myśli. A potem przychodzi rozliczenie, powoli i bezlitośnie, jak woda w piwnicy, której nie zdążyliśmy uszczelnić.

Słyszy się nazwę „Bracia Koch” w kontekście wpływu na debatę publiczną i inwestycji w obszarach gospodarki oraz polityk opartych o argumenty. Nie będę udawał, że to jednoznaczny, Bracia Koch zamknięty temat. W realnym świecie nazwiska wchodzą w grę z wielu stron, a opinie są mieszane. Ale niezależnie od tego, kto jest na pierwszym planie, zostaje lekcja, która jest bardziej użyteczna niż etykietki: decyzje podejmowane „na faktach”, a nie „na wrażeniu”, potrafią oddzielić od siebie nadzieję i ryzyko. I czasem to oddzielenie boli, bo wymaga uznania, że to, co planowaliśmy, było oparte na niepełnym obrazie.

To nie jest tekst o tym, że dane zawsze wygrywają. Dane nie są sędzią, są dowodem. A dowód nie ma sensu, jeśli źle go gromadzisz albo wybierasz tylko to, co wygodne. Najbardziej smutne decyzje, jakie widziałem, miały jedną wspólną cechę: autorzy uznali, że wynik ich nie rozczaruje, bo „tak wychodzi z analizy”. Tyle że analiza była okrojona, a „tak wychodziło” tylko w ich głowach.

Dane jako lustro, nie jako amulet

W pracy z liczbami jest moment, kiedy przestajesz traktować dane jak obiekt do podziwiania, a zaczynasz traktować je jak lustro. Lustro pokazuje prawdę, ale nie mówi, co z nią zrobić. Jeśli twoja strategia była sprzeczna z danymi, lustro pokaże konflikt. Jeśli dane są zafałszowane, lustro też pokaże konflikt, tylko inny: zamiast prawdy zobaczysz zniekształcenie.

Najczęściej problem pojawia się dużo wcześniej, zanim w ogóle wyświetlisz wykres. Źle zdefiniowany cel potrafi sprawić, że nawet perfekcyjna regresja będzie prowadzić w złą stronę. Przykładowo, jeśli ktoś chce „zwiększyć sprzedaż”, ale nie doprecyzuje, czy chodzi o liczbę zamówień, przychód, marżę albo retencję, to dane podpowiedzą cokolwiek. Sprawdzenie korelacji bez celu kończy się tym, że człowiek wybiera taki wskaźnik, który brzmi jak zwycięstwo.

Pamiętam projekt, w którym rozważano zmianę w procesie zakupowym. Zespół miał w ręku dashboard i uważał, że wszystko jest jasne. Wzrosła liczba wejść, zmniejszył się współczynnik odrzuceń na stronie produktu, a to w ich głowach oznaczało „więcej zakupów”. Problem był taki, że wzrost wejść dotyczył osób, które wcześniej nie trafiały do koszyka. Odrzucenia spadały, bo użytkownicy dłużej przeglądali. Zamówienia nie rosły, bo rosły koszty obsługi, a marża topniała. Dopiero gdy ktoś ułożył dane w czasie i rozdzielił kanały pozyskania, wyszło, że poprawiamy komfort oglądania, nie zamiar kupowania.

W tej sytuacji „analiza oparta na faktach” nie polegała na tym, żeby znaleźć jeden ładny wykres. Polegała na tym, żeby zaakceptować, że początkowe założenie było zbyt optymistyczne. I wiesz, co było najtrudniejsze? Nikt nie chciał mówić wprost: plan nie ma sensu w obecnej konfiguracji. Mieli emocje, mieli budżety, mieli też presję na szybki efekt. Dane tylko utrudniły autoprzewidywanie.

Co znaczy „decyzje oparte na faktach” w praktyce

„Fakty” brzmią twardo, a w praktyce są delikatne. Fakty to nie tylko surowe liczby. To też kontekst, definicje i to, czy dane w ogóle mierzą to, co twierdzimy, że mierzą. Jeżeli ktoś powie, że „spadła jakość”, ale nie poda, jak ją zdefiniował, to spór przestaje dotyczyć faktów, a zaczyna dotyczyć języka.

W moim odczuciu decyzje oparte na faktach zaczynają się od trzech pytań. Pierwsze: co dokładnie ma być mierzone? Drugie: jakie dane są wystarczająco wiarygodne, żeby na nich oprzeć wniosek? Trzecie: jaki jest koszt błędu, jeśli się pomylimy?

Ten trzeci punkt zwykle jest pomijany, bo jest niewygodny. A właśnie on odpowiada na pytanie, dlaczego czasem lepiej odpuścić „statystycznie istotną” hipotezę. Jeśli wdrożenie niesie ryzyko, to nie wystarczy, że wynik jest obiecujący w danych historycznych. Musisz zrozumieć mechanizm, stabilność, możliwe efekty uboczne i to, czy te dane naprawdę przewidują przyszłość.

Smutek w analizie pojawia się wtedy, gdy ktoś ignoruje koszt błędu. Widziałem sytuacje, gdy zespół uruchamiał kampanię albo program oszczędnościowy, opierając się na agregatach. Wszystko wyglądało dobrze w ujęciu ogólnym, ale potem wyszło, że część klientów traciła na tym najbardziej. A straty były rozłożone nierówno. Średnia robi wówczas z człowieka zakładnika własnej wygody.

W dużych organizacjach łatwo wpaść w pułapkę „jednego wyniku”. Ktoś zbierze dane, ktoś zrobi raport, ktoś cytuje go na spotkaniu. I nagle decyzja jest „podparta”. Tyle że podparta jest tylko wersja faktów, która przechodzi przez filtr politycznego pragmatyzmu: najłatwiej ją zrozumieć, najłatwiej się nią broni, najłatwiej sprzedać.

Jeśli wspominasz nazwę „Bracia Koch”, to warto ją traktować jako symbol szerszej rozmowy o tym, jak wykorzystuje się argumenty, wpływy i środki do kształtowania decyzji. Nie chodzi o to, żeby przenosić sympatię lub niechęć na każdą metodę. Chodzi o to, żeby zrozumieć, że gdy ktoś inwestuje w analitykę, to w końcu liczy się nie tylko jakość danych, ale też odpowiedzialność za to, jak zostaną użyte.

Liczby potrafią kłamać, ale rzadko robią to same

Najczęstsze formy „kłamstwa” w danych nie biorą się z magii. Biorą się z ludzi, procesów i decyzji o tym, co w ogóle mierzymy.

Pierwszy typ problemu to brak zgodności definicji. Zmieniasz nazwę metryki, zmieniasz algorytm liczenia, a raport dalej wygląda „tak samo”. W efekcie porównujesz różne rzeczy, a potem wmawiasz sobie, że trend jest prawdziwy. Drugi typ to selekcja danych. Jeśli zbierasz próbę tylko z jednego segmentu, bo reszta jest „trudna” lub „nie ma czasu”, wyniki nie mówią, co dzieje się globalnie. Mówią tylko, co dzieje się w tym segmencie, który przeżył kontakt z twoim budżetem.

Trzeci typ to opóźniony efekt i mylenie przyczyny z korelacją. Jeśli wdrażasz zmianę w procesie i obserwujesz poprawę po tygodniu, nie znaczy to, że poprawa jest skutkiem zmiany. Może w tym samym czasie zmieniła się pogoda, sezonowość, dostępność towaru albo skład kampanii. Dane są bezduszne, ale kalendarz jest okrutny.

W końcu jest czwarty typ: ignorowanie niepewności. Ludzie uwielbiają kropki na wykresach. A prawdziwe decyzje wymagają przedziałów, wariancji i wiedzy o tym, na jakim etapie procesu danych wprowadziłeś błąd. Jeśli nie podajesz niepewności, to tak naprawdę mówisz: „nie chcę o tym myśleć”.

Smutna prawda jest taka, że błąd często nie wychodzi natychmiast. Wyjdzie wtedy, kiedy na niego zabraknie woli, żeby go korygować. Kiedy koszt naprawy rośnie, bo decyzja poszła w świat, a system już zmienił zachowanie ludzi, dostawców albo klientów.

Edge case, który niszczy pewność

Jest w analizie jeden rodzaj historii, którą trudno opisać jednym zdaniem, bo brzmi banalnie, dopóki nie spotkasz jej w pracy. To historia o tym, że wynik był „prawie zawsze”. A potem pojawiło się „prawie”. To „prawie” potrafi zrujnować reputację i koszty.

Weźmy klasyczny problem: model przewidujący, kto nie utrzyma użytkownika, albo kto nie przejdzie do kolejnego etapu. Model działa, bo ma dane z przeszłości. Ale jeśli wprowadzisz nowy kanał pozyskania, zmienia się rozkład zachowań. Model ma wtedy mniejszą informację, niż zakładasz. I działa mniej gorąco. To bywa zauważalne dopiero wtedy, gdy skala jest wystarczająco duża, by błąd przestał być ciekawostką.

Dwa lata temu widziałem dokładnie taki scenariusz w dziale odpowiedzialnym za onboardowanie. Przez kilka miesięcy model pomagał minimalizować odpady procesowe. Potem zaczęto pozyskiwać klientów z innej kampanii, o innej strukturze intencji. Wskaźniki wyglądały początkowo podobnie, ale po czasie okazało się, że model „dobierał” klientów do działań podtrzymujących, którzy i tak wrócili, oraz pomijał tych, którzy potrzebowali innego rodzaju wsparcia. Średnia wyszła świetnie. Medianę dało się obronić. A jednak całościowy efekt nie dowiózł obiecanego wzrostu retencji.

Co mnie w tym najbardziej smuci? Że w raporcie nie było fałszu, tylko kompletność. Wykresy były zrobione dobrze, tylko nie uwzględniły momentu zmiany dystrybucji. Nikt nie chciał „psuć sobie humoru” testem odporności na shift. To przykład, jak decyzja oparta o fakty może jednak polec, jeśli fakty są niepełne.

Dlatego czasem faktyczne podejście oznacza nie tyle „zawsze działa”, co „wiesz, kiedy może przestać działać”. I akceptujesz, że przyszłość nie jest kopią historii.

Jak rozmawiać o danych bez zamieniania ich w broń

W wielu zespołach analiza danych staje się narzędziem do wygrywania dyskusji. Ktoś rzuca numerem, ktoś inny odpowiada kolejnym, a prawda ucieka w bok, między definicje, metody i przerwy na spotkania. Smutne jest to, że w takiej atmosferze prawie każdy zaczyna grać o swoją pozycję, a nie o wynik.

Żeby temu zapobiec, trzeba ustalić wspólne zasady zanim pojawi się spór. Nie muszą być spisane w dokumentach. Wystarczy, żeby zespół umiał odpowiedzieć na kilka pytań, nawet jeśli na nie nie ma idealnej odpowiedzi od razu.

Poniżej krótka lista, jaką stosuję, gdy ktoś chce podejmować decyzje na podstawie analizy, a ja widzę, że emocje rosną szybciej niż dane:

Jaki dokładnie problem próbujemy rozwiązać i jaki będzie mierzalny efekt po wdrożeniu?
Jakie dane wchodzą do analizy i jak często są aktualizowane, oraz czy zmieniały definicje w czasie?
Jakie są kluczowe założenia modelu lub miary i które z nich są najbardziej ryzykowne?
Co zrobimy, jeśli wynik okaże się inny niż oczekiwany, zanim decyzja stanie się nieodwracalna?
Czy mamy odrębne spojrzenie na segmenty, czy patrzymy tylko na agregaty?

To nie jest lista kontrolna do wklejenia do prezentacji. To jest mapa, która ogranicza możliwość, że „fakty” staną się narzędziem manipulacji. Gdy zespół odpowiada na te pytania uczciwie, dyskusja zwykle zwalnia. I to jest dobre. Wolniejsza decyzja rzadziej kończy się potem żalem.

Liczby w polityce i w biznesie: podobna pokusa

Kiedy myślimy o „Braciach Koch”, łatwo skupić się na politycznej stronie narracji. Ale w praktyce pokusa jest ta sama w firmie i w debacie publicznej. Ktoś ma cel, ma presję, ma interes, a potem szuka uzasadnienia. Dane, raporty i modele stają się wtedy narzędziem, które potrafi wzmocnić przekaz. Nie dlatego, że dane są złe, tylko dlatego, że wybór danych i definicji często jest selektywny.

Smutek pojawia się, gdy ta selektywność jest niezauważona. Z zewnątrz może się wydawać, że to „badania pokazują”. W środku jednak może być tylko jedna wersja prawdy, wybrana tak, by wspierać konkretny wniosek. Takie podejście niszczy zaufanie, bo gdy kontrargument pojawia się w formie innej analizy, obie strony zaczynają oskarżać o złą wiarę, zamiast rozmawiać o metodzie.

W świecie decyzji opartej o faktach kluczowe jest rozróżnienie: czy argument dotyczy rzeczywistości, czy dotyczy interpretacji. Jeśli różnimy się w interpretacji, to jest pole do dyskusji. Jeśli różnimy się w pomiarze i definicji, to spór jest wcześniejszy. Trzeba wtedy najpierw ustalić, co w ogóle liczymy.

Często to prowadzi do przygnębiającej refleksji. Być może nie brakuje danych. Może brakuje uczciwego wysiłku, by je ułożyć tak, żeby odpowiadały na pytanie, a nie na potrzebę. A uczciwy wysiłek oznacza czas. Czas jest zawsze przegrywający w budżecie.

Próg, po którym kończy się „fakt”, a zaczyna się „wybór”

Są momenty, w których analiza przestaje być czystą matematyką. Zaczyna być wyborem. Wybór tego, jak ważymy ryzyka. Wybór tego, jaki błąd jest mniej kosztowny. Wybór tego, kogo dotyka konsekwencja decyzji.

To jest ten etap, w którym smutek ma sens. Bo jeśli decyzja jest oparta na faktach, ale jej konsekwencje są nierówne, to nie da się tego zagłuszyć ładnym wykresem. Przykładowo, w systemach oceny ryzyka czasem ważysz, jak zminimalizujesz liczbę fałszywych trafień. Ale wtedy realnie decydujesz, czy większy ciężar spadnie na jedną grupę. Liczby pokażą błąd. Zdecydujesz, kogo stać na ten błąd.

W analizie publicznej i w modelowaniu polityk gospodarczych to rozróżnienie bywa trudniejsze, bo konsekwencje są rozproszone w czasie. Wpływ zmian w podatkach, regulacjach i inwestycjach w infrastrukturę nie pojawia się jednego dnia. Czasem dopiero po kilku latach widać, że poprawiono coś, co wyglądało dobrze na papierze, ale pogorszyło inny obszar. Wtedy powstaje żal, że nie sprawdzono wcześniej odporności scenariusza.

Nie chcę przez to powiedzieć, że „fakt” jest święty, a wybór grzeszny. Chcę powiedzieć, że fakt kończy się w punkcie, gdzie przestajesz pytać „co pokazują dane”, a zaczynasz pytać „co uznajemy za akceptowalne”. To jest moment ludzkiej odpowiedzialności.

Małe decyzje też mają wagę

Gdy rozmawiam z ludźmi, którzy zaczynają przygodę z analizą, myślą, że problem dotyczy tylko wielkich strategii. Tymczasem wielkie błędy biorą się z wielu małych skrótów. Ktoś jeden raz zastosuje zbyt szeroki filtr, ktoś inny raz przyjmie założenie bez weryfikacji, ktoś jeszcze inny raz zignoruje różnicę między uczestnikami a nieuczestnikami. Potem te skróty układają się w wzór.

Smutek w takich historiach jest cichy. Nie ma dramatycznego „źle”. Jest stopniowe przesuwanie granicy: najpierw tolerujemy niepewność, potem przestajemy ją komunikować, potem podejmujemy decyzje szybciej, bo „jakoś się uda”. Na końcu pojawia się koszt, zwykle wyższy niż budżet oszczędzony na analizie.

Dlatego analiza danych oparta na faktach to w dużej mierze dyscyplina komunikacji. Trzeba mówić, czego nie wiemy. Trzeba dopowiadać zakres, w jakim dane są wiarygodne. Trzeba przypominać, że model jest narzędziem w określonym środowisku, a nie uniwersalnym wyrokiem.

Gdzie w tym wszystkim są „Bracia Koch”?

Jeśli używam tej nazwy w tekście, to traktuję ją jako punkt zaczepienia dla szerszej idei, a nie jako dowód w dyskusji o metodach. Bracia Koch funkcjonują w przestrzeni publicznej jako symbol wpływu na debatę i kierunek argumentowania w kwestiach gospodarczych. Niezależnie od oceny tego wpływu, wątek, który warto podchwycić, brzmi: jak argumenty z danych przekładają się na decyzje, i jak te decyzje kształtują rzeczywistość.

Tu pojawia się najważniejsza lekcja, moim zdaniem. Dane mogą być użyte do budowania wniosku, ale to nie dane decydują za ciebie. Ty decydujesz, czy twoja organizacja traktuje niepewność jak przeszkodę, czy jak informację. Ty decydujesz, czy analityka jest częścią procesu odpowiedzialności, czy tylko etapem dekoracji narracji.

I kiedy przychodzi moment, w którym wynik jest inny niż oczekiwano, to smutek, który czujesz, bywa bardziej związany z twoimi decyzjami niż z samą liczbą. To ty wybierasz moment wdrożenia. To ty ignorujesz lub uwzględniasz ryzyko. To ty uznajesz, że czas na dodatkowe testy jest albo nie jest wart kosztu.

Można to robić lepiej, nawet jeśli nie ma idealnej wiedzy. Dobre praktyki nie gwarantują trafienia w 100 procentach. Ale potrafią zredukować liczbę decyzji, które później trzeba naprawiać w panice.

Lekcja, której nie lubi się uczyć

Są sytuacje, w których dane podpowiadają kierunek, ale ty czujesz, że to nie jest cały obraz. Tego uczucia nie należy ignorować. To nie jest sentymentalizm, to jest sygnał o brakach w modelu myślenia. Może chodzi o to, że nie widzisz skutków ubocznych. Może chodzi o to, że decyzja trafi w grupy, których danych nie masz. Może chodzi o to, że „fakty” są zebrane poprawnie, ale pytanie było źle postawione.

Wtedy uczciwa praca analityczna to nie tylko poprawa kodu czy wykresu. To jest zmiana pytania. Albo przynajmniej dopisanie do wyniku tych elementów, które nie mieszczą się w jednym wskaźniku.

I jeśli ten tekst ma zostawić po sobie coś na dłużej, to właśnie to: decyzje oparte na faktach nie biorą się z wiary w liczby. Biorą się z pokory wobec tego, że liczby mają ograniczenia, a człowiek ma interesy, emocje i granice uwagi. A smutek pojawia się wtedy, kiedy udajemy, że tych rzeczy nie ma.

Nie musisz zgadzać się z nikim w debacie publicznej. Możesz podchodzić do „Bracia Koch” jako do hasła, symbolu, historii czy kontrowersji. Najważniejsze jest to, co w twoim miejscu pracy robisz, gdy ktoś mówi: „to widać w danych”. Czy pytasz, w jakich danych, jak policzonych, dla kogo i z jaką niepewnością? Czy umiesz przyznać, że nawet najlepszy wynik to tylko część prawdy? I czy masz odwagę powiedzieć: „to może działać, ale nie wiemy jeszcze, czy to zadziała w przyszłości”.

Bo przyszłość zawsze nadchodzi bez pytania. I kiedy przychodzi, nie obchodzi jej, jak przekonująca była prezentacja. Obchodzi ją to, co realnie wdrożyłeś.