Gmina, która dotąd prowadziła ewidencję zbiorników w arkuszach kalkulacyjnych albo na papierze, zaczyna wdrożenie od kilku albo kilkunastu tysięcy nieruchomości do wprowadzenia. Ręczne zakładanie takiej liczby rekordów formularzem zajęłoby jednemu pracownikowi wiele tygodni. Ekran Import danych wprowadza je z jednego pliku Excel.
Najwięcej czasu zajmuje przy tym nie sama operacja importu, lecz doprowadzenie danych źródłowych do postaci zgodnej ze słownikami systemu. Plik przygotowany według jednego szablonu wymusza jednolitą strukturę dla każdej nieruchomości, czego ręczne wprowadzanie przez kilka osób nie zapewnia.
Import jako pierwszy krok wdrożenia. Kursy, pobrania i zrzuty wymagają wskazania adresu z ewidencji, a raporty zestawiają wywozy według ulicy albo miejscowości. Bez kompletnej ewidencji nieruchomości pozostałe ekrany nie mają na czym pracować, a operacja z adresem bez dopasowania trafia do kolejki „Operacja dla nieznanej nieruchomości” w Jakości danych.
Import danych w menu Administracja
Ekran Administracja > Import danych zbiera rodzaje importów dostępne w systemie. Do wyboru są cztery:
- Nieruchomości, podmioty i zbiorniki - jeden wiersz na nieruchomość: adres, rodzaj budynku, mieszkańcy, właściciel, zbiornik.
- Umowy na opróżnianie - umowy zbiorników z firmami.
- Deklaracje odpadowe - deklaracje właścicieli.
- Przydział pojemników - przydział pojemników do nieruchomości.
Rekordy z importu trafiają do tych samych rejestrów co dane wpisane ręcznie: można je edytować, uzupełniać o dane, których nie było w pliku, a dla nieruchomości, pojemników i pojazdów generować kody QR przyciskiem „Generuj brakujące”. Współrzędne nieruchomości system ustala automatycznie na podstawie adresu. Zastosowanie kodów w terenie opisuje artykuł o kodach QR w systemie BioKontrol, a ewidencję - artykuł o ewidencji nieruchomości i przewoźników w BioKontrol. Pełny opis ekranu zawiera instrukcja: import i zadania okresowe.
Kolumny zgodne ze słownikami
Szablon do pobrania w kreatorze podaje nagłówki kolumn. Pola odpowiadające słownikom systemu warto wypełnić wartością dokładnie taką, jaka widnieje w słowniku, a nie potoczną nazwą. Rozbieżność w pisowni albo wartość spoza słownika jest najczęstszym źródłem ostrzeżeń i odrzuconych wierszy w analizie.
| Dane w pliku | Źródło dopuszczalnych wartości | Uwaga |
|---|---|---|
| Miejscowość, ulica, gmina | rejestr TERYT i obszar gminy (Administracja > TERYT i obszar gminy) | adres spoza gminy z obszaru instancji nie zostanie zapisany |
| Rodzaj budynku | słownik Rodzaje budynków | brzmienie ustalone przez gminę |
| Rodzaj zbiornika (instalacji) | słownik Rodzaje zbiorników | zbiornik bezodpływowy albo przydomowa oczyszczalnia; decyduje o interwale opróżniania |
| Rodzaj ścieków | słownik Rodzaje ścieków | na przykład ścieki bytowe |
| Forma użytkowania | słownik Forma użytkowania | słownik opisowy, brzmienie ustalone przez gminę |
| Frakcja i rodzaj pojemnika | słowniki Frakcje odpadów i Rodzaje pojemników | dotyczy deklaracji odpadowych i przydziału pojemników |
| Firma w umowie | rejestr Przedsiębiorcy i zezwolenia | firma powinna być wpisana do rejestru przed importem umów |
Słowniki każda gmina konfiguruje sama, więc ich dokładne brzmienie trzeba sprawdzić we własnej instalacji przed przygotowaniem pliku. Gdy brakuje pozycji, dodaje się ją w Administracja > Słowniki. Konfigurację słowników opisuje artykuł o personalizacji systemu pod potrzeby gminy oraz instrukcja: słowniki.
Walidacje pól w formularzach
Ręczne dopisanie podmiotu (okno „Nowy podmiot”) sprawdza dane przy zapisie i podświetla pola z błędem. Te same formaty warto zachować w pliku:
| Pole | Reguła |
|---|---|
| NIP | poprawna suma kontrolna; można go podać z prefiksem PL |
| REGON | 9 albo 14 cyfr |
| poprawny adres | |
| Kod pocztowy | format 00-000 |
| Telefon | numer 9-cyfrowy zapisuje się z prefiksem +48 |
Zasady pracy z podmiotami, zgodami i danymi osobowymi opisuje instrukcja: właściciele i kontakty.
Przygotowanie pliku do importu
| Etap | Działanie |
|---|---|
| Scalenie źródeł | połączenie arkuszy poszczególnych referentów i rejestru zbiorników w jeden arkusz roboczy, nieruchomość po nieruchomości (jeden wiersz na nieruchomość) |
| Szablon | pobranie szablonu przyciskiem „Pobierz szablon” i uzupełnienie go zgodnie z nagłówkami |
| Sprawdzenie słowników | zanotowanie dokładnego brzmienia pozycji słowników oraz dodanie brakujących, na przykład nowego rodzaju budynku |
| Kolumny słownikowe | wpisanie wartości zgodnych ze słownikami, bez skrótów i odmiennej pisowni |
| Pozostałe dane | dane kontaktowe, liczba mieszkańców, pojemność zbiornika oraz odrębny adres korespondencyjny |
| Zapis pliku | zapisanie jako CSV, XLS albo XLSX (do 10 MB i 20 000 wierszy; większy plik trzeba podzielić) |
| Import i przegląd | wgranie pliku w kreatorze, przegląd analizy w poczekalni, poprawa dopasowania i „Zastosuj” |
Sprawdzenie pliku przed importem
Błąd wykryty po imporcie trzeba poprawiać w tysiącach rekordów. Ten sam błąd wykryty przed importem wymaga poprawki jednej komórki w arkuszu. Bezpiecznym wzorcem jest więc sprawdzenie arkusza roboczego, zanim jego zawartość trafi do systemu. BioKontrol dodatkowo analizuje wgrany plik w poczekalni: pokazuje wiersze poprawne, z ostrzeżeniem i odrzucone, a do rejestru nic nie trafia, dopóki nie klikniesz „Zastosuj”. Plik może mieć do 10 MB i 20 000 wierszy, więc przy większej liczbie nieruchomości trzeba go podzielić. Poniższe zasady dotyczą sprawdzenia arkusza przed wgraniem.
| Reguła | Znaczenie | Skutek dla użytkownika |
|---|---|---|
| Każda kolumna słownikowa osobno | rodzaj budynku, rodzaj zbiornika i pozostałe kolumny słownikowe sprawdza się względem aktualnych pozycji odpowiedniego słownika | błąd w jednej kolumnie nie przesłania błędów w pozostałych |
| Wartość spoza słownika z liczbą wierszy | każdą nierozpoznaną wartość zestawia się z liczbą wierszy, w których występuje | jedna decyzja naprawia wszystkie wystąpienia, a lista błędów jest krótka |
| Puste pole to brak danych, nie błąd słownikowy | wartość słownikową warto sprawdzać tylko w komórkach, które coś zawierają | brak wartości warto traktować osobno, jako brak danych, a nie jako niezgodność ze słownikiem |
| Tylko aktywne pozycje słownika | wartość powinna odpowiadać pozycji aktywnej, bo pozycję słownika można dezaktywować | nieaktualne nazwy warto wychwycić przed importem |
| Spacje na początku i na końcu | przed porównaniem warto usunąć je z komórek | wartość „ zbiornik betonowy” nie zostaje odrzucona z powodu niewidocznej spacji |
Przykład: w pliku liczącym 12 000 wierszy kolumna z rodzajem zbiornika zawiera w 340 wierszach wartość „szambo betonowe”, której nie ma w słowniku, bo gmina zapisała ją jako „zbiornik bezodpływowy”. Zestawienie przygotowane w arkuszu (na przykład tabelą przestawną) pokazuje jedną pozycję z liczbą 340. Wystarczy jedna decyzja: dopisanie wartości do słownika albo zamiana w arkuszu, a wszystkie 340 wierszy jest poprawionych naraz.
Poczekalnia, stany przebiegu i „Zastosuj”
Przebieg importu otwiera się dwuklikiem albo przyciskiem „Pokaż wiersze”. Sprawdza się wiersze z ostrzeżeniem i odrzucone, poprawia dopasowanie, a następnie klika „Zastosuj”. Poprawne wiersze zapiszą się w rejestrze, a stan przebiegu zmieni się na „Zastosowany” albo „Częściowo zastosowany”.
| Stan przebiegu | Znaczenie |
|---|---|
| Do analizy | plik wgrany, analiza trwa |
| Przeanalizowany | gotowy do sprawdzenia i zastosowania |
| Częściowo zastosowany | część wierszy zapisano w rejestrze |
| Zastosowany | przebieg zapisany w rejestrze |
Zastosowanie importu jest zdarzeniem w dzienniku („Zastosowanie importu”), dzięki czemu wiadomo, kto i kiedy zmienił rejestr hurtowo (instrukcja: użytkownicy i dziennik zdarzeń).
Duplikaty adresów w pliku
Arkusze kilku referentów po scaleniu często zawierają tę samą nieruchomość dwa razy, zapisaną nieco inaczej. Duplikat w pliku staje się duplikatem w ewidencji, a potem dwiema nieruchomościami z połową wywozów każda. Duplikaty wykrywa się, grupując wiersze według tych samych cech adresu:
- Miejscowość - ta sama nazwa miejscowości, zapisana w jednolity sposób.
- Ulica - ta sama ulica, bez skrótów i odmiennej pisowni.
- Numer domu - ten sam numer wraz z literą albo numerem lokalu, jeżeli występuje.
Każdy zestaw, który pojawia się w pliku więcej niż raz, to kandydat na duplikat do ręcznego rozstrzygnięcia: urzędnik decyduje, który wiersz zostaje, a który jest zbędną kopią. Przykład: ulica Lipowa 12 w arkuszu dwóch referentów, raz jako „ul. Lipowa 12”, raz jako „Lipowa 12”, po ujednoliceniu zapisu daje dwa wiersze do połączenia w jeden.
Te same cechy, porównane z ewidencją Nieruchomości, wskazują nieruchomości już obecne w systemie. Ma to znaczenie przy powtórnym imporcie, bo ponowne załadowanie tego samego pliku mogłoby utworzyć drugą kopię każdej nieruchomości. Po zastosowaniu importu podobne adresy wskaże kolejka „Możliwy duplikat” w Jakości danych, a duplikat łączy się przyciskiem „Scal z…” na karcie nieruchomości; scalona nieruchomość dostaje status „Scalona” (instrukcja: nieruchomości).
Typowe pułapki arkusza
Excel przekształca dane w sposób, którego użytkownik nie widzi, dopóki nie trafią do systemu. Cztery pułapki powtarzają się w większości plików przygotowywanych do importu:
- Kody pocztowe i numery - kolumna sformatowana jako liczbowa usuwa zera wiodące, dlatego kody pocztowe (format 00-000) oraz numery domów warto przechowywać jako tekst.
- Separator dziesiętny - pojemność zbiornika wpisana raz jako „10,5”, a raz jako „10.5” daje różne wyniki zależnie od ustawień regionalnych.
- Spacje i znaki niewidoczne - spacja wiodąca albo twarda spacja skopiowana ze strony internetowej sprawia, że wartość nie pasuje do słownika.
- Scalone komórki - wartość scalonej komórki trafia tylko do pierwszego wiersza, a pozostałe wiersze importu dostają puste pole.
Po imporcie
Po zastosowaniu importu warto przejść przez ekran Ewidencja > Jakość danych. Dziewięć kolejek wskazuje, co w ewidencji uzupełnić: nieruchomości bez współrzędnych albo bez dopasowania do TERYT, zbiorniki bez pojemności, brak danych do wyliczenia terminu, brak rodzaju budynku, możliwe duplikaty, brak adresata korespondencji i błędny kontakt. Kolejki liczą się z danych na bieżąco, więc pozycja znika po poprawieniu danych, a przycisk „To nie błąd” oznacza pozycję jako zbadaną i prawidłową (instrukcja: jakość danych).
Dalsze kroki to uzupełnienie pojedynczych rekordów, generowanie brakujących kodów QR oraz uruchomienie zadania „Przeliczenie terminów wywozu” w Administracja > Zadania, które wylicza termin kolejnego wywozu dla każdego używanego zbiornika. Umowy z firmami (import „Umowy na opróżnianie”) pozwalają sprawdzić, które zbiorniki mają umowę na opróżnianie (kolumna „Firma z umowy” na liście Terminy wywozu), a brak umowy może być powodem wezwania do jej okazania (artykuł o efektywności kontroli gospodarki ściekowej).
Arkusze robocze z danymi mieszkańców zawierają dane osobowe, które po imporcie znajdują się już w systemie. Kopie krążące w poczcie elektronicznej i na dyskach referentów warto usunąć po zakończeniu importu, zgodnie z zasadą ograniczenia przechowywania z art. 5 ust. 1 lit. e RODO. Import zmienia zakres przetwarzania w jednej operacji, więc przed nim warto uzupełnić rejestr czynności przetwarzania, co opisuje artykuł o inspektorze ochrony danych osobowych.
Import jest funkcją administracyjną: strona instrukcji jest przeznaczona dla administratora gminy i kierownika, a poziom konta opisuje artykuł o zakładaniu i zarządzaniu kontami użytkowników. Pełny opis systemu zawiera strona BioKontrol.
Zobacz to na żywo w demo BioKontrol. Dane do demo wydajemy na prośbę lub na prezentacji.
Pytania i odpowiedzi
Co można zaimportować z pliku Excel do BioKontrol
Cztery rodzaje danych: nieruchomości, podmioty i zbiorniki (jeden wiersz na nieruchomość: adres, rodzaj budynku, mieszkańcy, właściciel, zbiornik), umowy na opróżnianie, deklaracje odpadowe oraz przydział pojemników. Ekran Administracja > Import danych zakłada z jednego pliku wiele rekordów naraz, zamiast wpisywania każdego formularzem.
Dlaczego import z Excela może się nie powieść
Plik trafia do poczekalni i jest analizowany wiersz po wierszu: w przebiegu widać wiersze poprawne, z ostrzeżeniem i odrzucone, a dopasowanie można poprawić przed zapisem. Zwykle problem sprawiają wartości niezgodne ze słownikami, adresy bez dopasowania do TERYT albo spoza obszaru gminy, więc warto sprawdzić je w arkuszu przed wgraniem. Plik nie może przekraczać 10 MB ani 20 000 wierszy.
Czy przed importem trzeba uzupełnić słowniki
Warto, jeżeli w danych źródłowych występują wartości, których nie ma jeszcze w słownikach, na przykład nowy rodzaj budynku. Pozycję dodaje się w Administracja > Słowniki przyciskiem „Dodaj pozycję” z kodem i nazwą, a wartości w pliku wpisuje się zgodnie ze słownikiem.
Czy import zastępuje ręczne dopisywanie nieruchomości
Obie metody działają równolegle. Import służy do jednorazowego wprowadzenia dużej liczby adresów, zwykle na starcie wdrożenia, a pojedyncze nowe nieruchomości dopisuje się później formularzem „Nowa nieruchomość”, w którym numer ewidencyjny nadaje system.
Czy import może coś zepsuć w rejestrze
Nie, dopóki nie klikniesz „Zastosuj”. Do tego czasu nic nie wchodzi do rejestru. Zastosować można cały przebieg albo jego część (stan „Częściowo zastosowany”), a samo zastosowanie importu zapisuje się w dzienniku zdarzeń.
Czy można powtórzyć import tego samego pliku
Ponowny import bez sprawdzenia istniejących adresów mógłby utworzyć duplikaty nieruchomości. Przed powtórzeniem importu warto porównać plik z ewidencją i wgrać wyłącznie nowe nieruchomości. Podobne adresy wskaże po zastosowaniu kolejka „Możliwy duplikat” w Jakości danych, a duplikat łączy się przyciskiem „Scal z…” na karcie nieruchomości.
Słownik pojęć
- Arkusz roboczy
- Plik Excel, w którym scala się źródła i poprawia dane przed importem. Wartości sprawdza się w nim względem słowników, a do systemu plik trafia dopiero po usunięciu błędów.
- Poczekalnia importu
- Miejsce, do którego trafiają wiersze wgranego pliku i gdzie są analizowane jako poprawne, z ostrzeżeniem albo odrzucone. Do rejestru wchodzą dopiero po kliknięciu „Zastosuj”.
- Wartość słownikowa
- Wartość kolumny, która powinna odpowiadać pozycji ze słownika, na przykład rodzaj budynku albo rodzaj zbiornika. Wartość spoza słownika wymaga poprawy w pliku albo uzupełnienia słownika.
- Identyfikacja nieruchomości w pliku
- Zestaw cech jednoznacznie wskazujących nieruchomość w danych źródłowych, na przykład miejscowość z ulicą i numerem domu. Służy do wykrywania duplikatów w pliku i w ewidencji.
- Duplikat adresu
- Ta sama nieruchomość zapisana w pliku lub w ewidencji więcej niż raz, często nieco inaczej. Powoduje rozdzielenie wywozów między dwie nieruchomości i zaniżone sumy dla każdej z nich.
