RegioWizard

AW-Wiki pod adresem aw-wiki.de od lat gromadzi to, co wiadomo o powiecie Ahrweiler: stowarzyszenia, budowle, winnice, szlaki, rady gmin, firmy, wydarzenia, ludzi. Około 39 000 artykułów w przestrzeni głównej, pisanych i utrzymywanych przez mieszkańców regionu.

Kto jednak czegoś tam szuka, musi wiedzieć, czego szuka. Pole wyszukiwania nie odpowie na pytanie „które stowarzyszenia w Dernau ucierpiały w powodzi?”. Znajdzie strony zawierające słowo Dernau. Resztę musi zrobić człowiek.

Dokładnie tam jest luka: zasób istnieje, pytania istnieją, a pomiędzy brakuje systemu, który połączy jedno z drugim niczego nie zmyślając. RegioWizard jest naszą odpowiedzią - działającym prototypem, nie dokumentem koncepcyjnym.

Wszystko w prototypie czyta ten sam lokalny indeks. Nie ma drugiego źródła danych, które mogłoby się rozejść.

1. Pytanie - udokumentowane odpowiedzi pełnymi zdaniami, z filtrami i protokołem wyszukiwania.
2. Atlas - każdy wpis z lokalizacją na jednej mapie, warstwa powodziowa do włączenia, sąsiedztwo w promieniu 3 km.
3. Analiza - struktura i głębia czasowa zasobu oraz stół redakcyjny.
4. Redakcja - zestawienie świeżego tekstu prasowego z wiki.
5. 14/15 lipca 2021 - dokumentacja nocy powodzi, zbudowana świadomie powściągliwie.
6. Pipeline - stan pozyskiwania danych, indeksu i modeli, jawnie.
7. Widok artykułu - każdy artykuł jako wersja do czytania, z odesłaniem do oryginału w wiki.

Do tego paleta poleceń pod Ctrl + K, obejmująca wszystkie 4295 tytułów: wpisujesz, skaczesz. Gdy nic nie pasuje, wpis trafia dalej jako pytanie.

To reguła, na której wisi cała reszta. Model językowy formułuje wyłącznie na podstawie fragmentów, które wyszukiwanie znalazło wcześniej, i oznacza każde stwierdzenie przypisem. Przypis jest klikalny i otwiera fragment, z którego pochodzi: tytuł, rozdział, brzmienie.

Ważniejszy jest przypadek bez modelu. Gdy żaden nie jest skonfigurowany, system niczego nie zmyśla ani nie zgłasza błędu: pokazuje najlepiej pasujące zdania z wiki, dosłownie i z podaniem źródła, a pod nimi znalezione fragmenty w całości. Ten tryb ekstrakcyjny jest pełnoprawną drogą, a nie stanem awarii.

Powód jest praktyczny. Redakcja, która przejmuje dane, odpowiada za nie. Narzędzie, które źródło jedynie deklaruje, zamiast je pokazać, jest w tej sytuacji bezwartościowe.

„Kto z regionu ma dziś urodziny?” brzmi jak pytanie do SI. To jednak zapytanie do bazy danych, a wyszukiwanie wektorowe odpowiada na nie niezmiennie źle: znajduje teksty, które mówią o urodzinach, a nie osoby, które mają dziś urodziny.

Dlatego prototyp rozpoznaje takie pytania i kieruje je do stałych zapytań po polach strukturalnych: daty urodzenia i śmierci, lata założenia, współrzędne, kategorie. W ten sposób obsługiwane są: rocznice w danym dniu, odnotowane zgony danego roku, założenia, okolica oraz - przypadek najciekawszy dla redakcji - luki tematyczne: artykuły często przywoływane, a same ubogie lub całkiem nieistniejące.

Wynikiem jest tabela: nazwa, data, źródło. Nie proza zgadująca liczby.

Pod każdą odpowiedzią widnieje, jak powstała: ilu kandydatów dostarczyło wyszukiwanie po słowach kluczowych, ilu wyszukiwanie wektorowe, ilu przetrwało scalenie, ilu faktycznie weszło do odpowiedzi i jak długo to trwało. W pokazanym przebiegu: 72 leksykalnie, 72 po scaleniu, 12 użytych, 120 milisekund.

Samo wyszukiwanie zbudowano dla języka niemieckiego. Umlauty są normalizowane, rdzenie skracane, złożenia rozkładane - Weinbau znajduje także Weinbaubetrieb. Każdy fragment nosi stały nagłówek: tytuł, rozdział, typ, miejsce i kategorie, aby pozostał zrozumiały po wyjęciu ze swojego artykułu.

Nie pokazujemy tego z zamiłowania do techniki. Kto wykorzystuje informację dalej, powinien móc zobaczyć, jak wąska albo jak szeroka była podstawa.

Regionalna wiki starzeje się dokładnie tam, gdzie dzieje się teraźniejszość: w dziale lokalnym, w bezpłatnym tygodniku, w komunikacie stowarzyszenia. Redakcja i tak widzi te doniesienia codziennie. Przeniesienie ich jeszcze do wiki kosztuje czas, którego nikt nie ma.

Stół redakcyjny bierze tekst i porównuje go z zasobem. Rozpoznawane są osoby, stowarzyszenia, firmy i miejsca; każde trafienie jest sprawdzane wobec istniejących artykułów i otrzymuje jeden z trzech stanów: już ujęte, artykuł istnieje, brakuje informacji, brak artykułu. W pokazanym przykładzie: 8 encji, 5 bez artykułu, 3 z możliwym uzupełnieniem.

Do każdej propozycji dołączony jest szkic w formacie wiki do skopiowania. Rozstrzygające jest to, czego system nie robi: nie zapisuje niczego w wiki. Wybór pozostaje w redakcji - to nie ograniczenie techniczne, lecz podział zadań, który uważamy za słuszny.

Zasób zawiera liczne artykuły związane z powodzią z 14 na 15 lipca 2021 roku. Osobna strona była nieunikniona; pytaniem było, jak może wyglądać.

Objęliśmy ją twardymi warunkami, a te warunki są częścią produktu, nie kwestią stylu: ostrzeżenie przed treścią, żadnych nazwisk ofiar, żadnych zdjęć, żadnych animacji, żadnych narastających liczb, żadnych mechanizmów angażujących, stonowana paleta odróżniająca się od reszty aplikacji.

Dane na tej stronie idą razem ze swoim źródłem. Tam, gdzie źródła się różnią, różnica jest nazwana, a nie wygładzona.

Uczciwie o zakresie: pozyskano 4295 z około 39 000 artykułów, wybranych pod kątem typowych pytań. Powstaje z nich 20 543 fragmentów tekstu, 68 992 terminów indeksu i 1040 wpisów z lokalizacją. Pozyskiwanie respektuje ograniczenie liczby zapytań wiki; dla pełnego zasobu właściwą drogą byłby eksport bazy danych, a nie 39 000 pojedynczych żądań.

Aplikacja działa w całości lokalnie: korpus, indeks i wektory leżą jako pliki w katalogu projektu. Bez bazy danych, bez usługi zewnętrznej, bez śledzenia, bez ciasteczek - jedynym żądaniem do podmiotu trzeciego w przeglądarce są kafelki mapy.

Wszystkie ilustracje w prototypie to rysunki, wykonane modelem obrazu i tak oznaczone. Żadna nie przedstawia rzeczywistego miejsca, budowli ani osoby. To zamierzone: aplikacja, której cała obietnica polega na udokumentowaniu faktów, nie może dostarczać obrazu, który ktoś mógłby wziąć za fotografię.

Obrazy poniżej tej sekcji pochodzą z pierwszej wersji z 2025 roku - pierwotnego szkicu czatbota, od którego zaczął się pomysł. Zostają, bo pokazują, skąd projekt pochodzi.