Wiedza jakosc-danych-ultimo2

Opublikowane 10 lipca 2014 | przez Outbox Research

0

By z morza danych wyłoniła się informacja

Kilka milionów prób nawiązania kontaktu z klientami miesięcznie to ogrom danych do przetworzenia. Bez zastosowania środków zaradczych, system informatyczny firmy pogrążyłby się w chaosie, zaś analiza i formułowanie wniosków oraz wdrażanie strategii w życie byłyby po prostu niemożliwe. Robert Rzepka, Kierownik Biura Systemów Ekspertowych w Ultimo,  w trakcie konferencji IBM Business Analytics Forum, uchylił rąbka tajemnicy i podzielił się z uczestnikami spotkania wiedzą dotyczącą jakości danych i data mining.

Jak skutecznie zadbać o jakość danych? Czy z okruchów informacji ma szansę wyłonić się konkretna wiedza na temat klientów, tak, by zapewnić im satysfakcjonujący customer experience? Zdecydowanie tak. Jeden spójny system zapewnia Ultimo dostęp do rzetelnych danych, co skutkuje szybszymi i trafnymi decyzjami.

Punkt wyjścia: nadciąga fala danych

W Ultimo przeprowadza się kilka milionów prób inicjacji kontaktów z klientami miesięcznie. Firma szacuje, iż wolumen przetwarzanych danych sięga ponad 100 milionów przypadków w miesiącu. Zbieranie informacji jest pierwszym, newralgicznym punktem. Specjaliści ds. jakości danych muszą uporać się nie tylko z różnymi formatami danych, ich niekompletnością, ale także zapewnić ciągłość oraz spójność informacji.

Co niosą napływające dane i jak sobie z tym radzić?

Różne formaty plików – pełne bogactwo ograniczone jedynie wyobraźnią wysyłającego. Formaty różnorakich programów: Access, Excel, czy dokumenty papierowe. Pełna dowolność panuje także w zakresie dat.

„Jeden podmiot przekazał nam aż 24 formaty danych! W przesłanych plikach mieszały się ze sobą daty anglosaskie, europejskie, zapisane w formatach tekstowych i numerycznych. To zaskakujące,  gdyż wszystkie kredyty udzielone były przez jeden podmiot. Nagminne są niespójne stosowanie skrótów, błędy ortograficzne, czy brak wspólnego formatu dla danych  z jednego okresu. Żaden system przetwarzający nie radzi sobie z tak różnym kodowaniem” – mówi Robert Rzepka, Ultimo.

Na tym etapie, system musi poradzić sobie także z brakami w danych. Co je powoduje? Najczęstszymi przyczynami są utrata, zatajenie informacji bądź wycofanie danych przez klientów. Braki w danych nie są jednak jedyną bolączką – dość często informacje, docierające do Ultimo od pierwotnych wierzycieli, są nieaktualne. Zdarzają się sytuacje, gdy rzekomy singiel przekazuje informacje o posiadaniu małżonka, bądź osoba uznawana za zmarłą, na podstawie wcześniej uzyskanych informacji, kontaktuje się z firmą telefonicznie.

Po pierwsze: weryfikować, monitorować, czyścić i … zrozumieć.

„Jakość danych wyjściowych zapewniają reguły – w Ultimo istnieje ich około 180. Zapobiegają wprowadzaniu przez pracowników błędnych informacji, a tym samym chronią system” – mówi Robert Rzepka. „Tworzone są także specjalne aplikacje, do których wpisywane są dane, np. wprowadzenie daty możliwe jest jedynie za pomocą kalendarza. Wpisanie kwoty wyższej niż zadłużenie, obowiązujące w momencie zawarcia porozumienia z danym klientem, jest również niemożliwe. System nie pozwala także na wybór niewłaściwego komornika bądź sądu” – dodaje.

Wzbogacanie danych to podobna do weryfikacji czynność, jednakże dokonywana na plikach zewnętrznych. W jej ramach realizowane są m.in. rekordowanie i tworzenie ujednoliconej kodyfikacji plików. Sporządzenie tego samego formatu danych umożliwia zastosowanie reguł oraz sprawdzenie, czy dane są poprawne.

„Wzbogacanie danych pozwala zweryfikować, czy posiadamy właściwe dane. W prosty sposób możemy sprawdzić, czy w grupie produktów, które nie powinny mieć zadłużenia większego niż 10 tys. zł nie występują inne kwoty, np. rzędu 100-200 tys. zł” – mówi Rzepka. „Na tym etapie przyglądamy się, czy numer PESEL odpowiada płci oraz weryfikujemy jego zgodność z wiekiem klienta. Następuje także identyfikacja z dokumentacją papierową, którą Ultimo otrzymuje od pierwotnych wierzycieli. Wzbogacanie to także dodawanie informacji, np. aktualizujemy kod pocztowy, gdy wiemy, iż jakiś czas temu na danym terenie zaszły zmiany administracyjne” – wyjaśnia.

Monitorowanie danych to etap, w którym sprawdzane są wprowadzone zmiany. Proste raporty, przesyłane następnie osobom odpowiedzialnym za jakość danych, składają się na zestawienia służące prognozowaniu i ocenie trendów w zmianach danych. Dają także pełniejszy obraz wraz z wiedzą o ich nasyceniu. Dotyczą także stopnia, w jakim dane są zepsute oraz informują, czy zdefiniowane uprzednio reguły poprawiania i monitoringu działają adekwatnie.

Utworzenie reguł bez zrozumienia jakie informacje posiada firma? Niemożliwe.

Pierwszym krokiem jest data mining. Na te dwa, proste słowa składają się szeroko zakrojone działania – rozległa eksploracja danych, weryfikacja informacji, w których posiadaniu jest firma, poszukiwanie powiązań między różnymi zmiennymi, a także tworzenie map – czyli gdzie te dane się znajdują. Proces nie zamyka się jednakże na wymienionych powyżej działaniach. Uzupełnia go także wykrywanie zmiennych najistotniejszych dla firmy, co pozwala specjalistom na tworzenie profilów klientów, które następnie umożliwiają lepszą obsługę i trafniejszą, skierowaną do nich, komunikację.

„Profilujemy rodzaje danych. Decydujemy, które zakwalifikować jako krytyczne, kluczowe dla biznesu, a które jako mniej istotne. Data mining daje wiedzę nt. tego, które dane można wykorzystać do modelowania tradycyjnego, a które odpowiedniejsze są do kontrolingu. Wiemy także, które dane powinny stanowić referencje, np. dla działów finansowych” – wyjaśnia Rzepka.

Reguły działają, mamy wiedzę o informacjach – przystępujemy do czyszczenia danych

Na tym etapie standaryzuje i normalizuje się dane. Rekordy ujednolica się (sprowadza do jednego formatu), tworzy spójne reguły w bazie danych, a informacje scala.

„W naszej bazie znajdują się klienci, którzy posiadają więcej niż jedną wierzytelność – mówi Robert Rzepka. „Gdyby każdy klient stawał się oddzielną iteracją, baza rozrosłaby się do astronomicznych rozmiarów, a błędne informacje dotyczące zachowania tychże klientów, znacząco zaburzyłyby obraz rzeczywistości. W tym przypadku, zachodzi także poważne ryzyko przeszacowania niektórych grup wraz z równoczesnym niedoszacowaniem innych. Informacje muszą być scalane w celu zachowania jedności informacyjnej” – dodaje.

Nie bez znaczenia jest weryfikacja działających systemów. Walidować należy, czy zaplanowane procesy odbywają się w odpowiednim czasie. Na bieżąco monitoruje się, czy nie występują błędy w obróbce danych. Robert Rzepka szczególnie zwraca  uwagę na zachowanie odpowiedniej kolejności przetwarzania.

Jakość danych bezpośrednio zależy od poprawnego działania oraz niezawodności systemów informatycznych. Dobrze zaprojektowane oraz przetestowane oprogramowanie powinno radzić sobie również w przypadkach awarii sprzętowych oraz przytoczonego wyżej zawieszania – mówi Artur Kotow, dyrektor departamentu QA w firmie Outbox. „Producenci software’u często zapominają o weryfikacji negatywnych przypadków użycia, co powoduje wiele problemów z danymi w przypadku wystąpienia awarii.  W takich sytuacjach z pomocą mogą przyjść profesjonalne usługi testowania oprogramowania. Zadaniem specjalistów zapewniania jakości jest wychwycenie podobnych przypadków, zanim dany program trafi do użytkowanie w realnym środowisku biznesowymwyjaśnia.

Musieliśmy stawić czoła przypadkom, gdy otrzymane dane były błędne, ponieważ jeden z systemów nieprawidłowo dokonał obróbki – najprawdopodobniej zawiesił się w czasie przetwarzania i, w konsekwencji, część danych nie została przeprocesowana w całości. Należy bezwzględnie monitorować wszelkie informacje zwrotne przesyłane przez system” – wyjaśnia Rzepka.

Wszystko, co najważniejsze w utrzymywaniu dobrej jakości danych

  • Kontroluj w czasie rzeczywistym.
  • Buduj reguły poprawności oparte o wiedzę.
  • Korzystaj z data mining, jest Twoim źródłem wiedzy o połączeniach między informacjami.
  • Data cleansing da Ci pewność, że Twój biznes działa prawidłowo.
  • Dziel się – przekazuj adekwatne informacje współpracownikom – ich decyzje oparte będą na rzetelnych danych. 

Czy baza może być w 100 proc. dokładna? Według Roberta Rzepki nigdy. Warto jednakże dołożyć wszelkich starań, by jak najbardziej przystawała do rzeczywistości. Ten cel można osiągnąć nieustannie procedując, odkrywając i niwelując ludzkie błędy.

„Należy dać sobie przyzwolenie na zaskoczenie” – mówi Rzepka. „Zwłaszcza w obejmującej tak wiele różnych aspektów ludzkiej działalności branży. Każdy dzień przynosi nowe wyzwania, każdy nowy typ wierzytelności niesie inne niż dotychczas problemy. Należy być elastycznym. Na szczęście nasz system jest na te ewentualności dobrze przygotowany” – dodaje.

Edyta Kozińska, PR Manager 

Photo credit: opensourceway / Foter / Creative Commons Attribution-ShareAlike 2.0 Generic (CC BY-SA 2.0)


O autorze

Outbox Research

to dział badań nad trendami rynkowymi firmy Outbox, największego integratora CRM w Polsce i Europie Centralnej. Nasz zespół składa się z ponad 200 specjalistów CRM, którzy wdrożyli rozwiązania dla 40 000 użytkowników na całym świecie. Outbox posiada biura w Warszawie, Londynie, Paryżu, Pradze i Dusseldorfie. Wśród naszych partnerów technologicznych znajdują się m.in. Microsoft, Oracle, IBM, Salesforce, Applause, hybris, Metastorm czy FICO. Zostaliśmy sklasyfikowani na 3. miejscu rankingu Computerworld TOP200 wśród firm wdrażających oprogramowanie.



Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Możesz użyć następujących tagów oraz atrybutów HTML-a: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Do góry ↑