KIO 3423/21

Sygn. akt KIO 3423/21

WYROK

z dnia 7 grudnia 2021 r.

Krajowa Izba Odwoławcza - w składzie:

Przewodniczący: Monika Kawa-Ogorzałek

Protokolant: Adam Skowroński

po rozpoznaniu na rozprawie w dniu 3 grudnia 2021r., w Warszawie, odwołania wniesionego

do Prezesa Krajowej Izby Odwoławczej w dniu 22 listopada 2021r. przez wykonawców

Konsorcjum: Sages sp. z o.o. z siedzibą w Warszawie, Instytut Podstaw Informatyki

PAN z siedzibą w Warszawie oraz Talkie Sp. z o.o. z siedzibą w Gdańsku, w

postępowaniu prowadzonym przez Instytut Badań Edukacyjnych z siedzibą w Warszawie

przy udziale wykonawców Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz

ERMLAB Sp. z o.o. z siedzibą w Olsztynie zgłaszających przystąpienie do postępowania

odwoławczego po stronie zamawiającego

orzeka:

1. umarza postępowanie odwoławcze w zakresie zarzutu nr 3 odwołania dotyczącego

naruszenia art. 18 ust. 3 ustawy - Prawo zamówień publicznych w zw. z art. 11 ust. 2

ustawy o zwalczaniu nieuczciwej konkurencji w związku z jego wycofaniem przez

Odwołującego;

2. oddala odwołanie;

3. kosztami postępowania odciąża Odwołującego i zalicza w poczet kosztów

postępowania kwotę 15 000 zł 00 gr (piętnaście tysięcy złotych zero groszy) uiszczoną

przez Odwołujących tytułem wpisu od odwołania.

Stosownie do art. 579 i 580 ust. 1 i 2 ustawy z dnia 11 września 2019 r. - Prawo

zamówień publicznych (Dz. U. z 2021 r., poz. 1129 ze zm.) na niniejszy wyrok - w terminie

14 dni od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej

Izby Odwoławczej do Sądu Okręgowego w Warszawie.

Przewodniczący:..........................................

Zamawiający - Instytut Badań Edukacyjnych w Warszawie prowadzi na podstawie

przepisów ustawy z dnia 11 września 2019r. - Prawo zamówień publicznych (Dz.U. z 2021r.,

poz. 1129 ze zm.; dalej: „Pzp”) postępowanie o udzielenie zamówienia publicznego w

zakresie wykonania narzędzia do automatycznego wspomagania doradztwa, tj. usługi

teleinformatycznej wspomagającej doradztwo zawodowe i wspomagające osoby w

planowaniu uczenia się przez całe życie za pomocą rozwiązań sztucznej inteligencji -

"Wirtualny asystent".

Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii

Europejskiej pod numerem 2021/S 174-454136 w dniu 8 września 2021 r.

W dniu 22 listopada 2021r. wykonawcy wspólnie ubiegający się o udzielenie

zamówienia Konsorcjum: Sages Sp. z o.o. z siedzibą w Warszawie, Instytut Podstaw

Informatyki PAN z siedzibą w Warszawie oraz Talkie Sp. z o.o. z siedzibą w Gdańsku wnieśli

do Prezesa Krajowej Izby Odwoławczej odwołanie, w którym zarzucili Zamawiającemu:

1. naruszenie art. 226 ust. 1 pkt. 5 Pzp, poprzez dokonanie nieprawidłowej

czynności badania i oceny oferty wykonawców wspólnie ubiegających się o udzielenie

zamówienia Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz Ermlab sp. z o.o. z

siedzibą w Olsztynie (dalej: „Przystępujący”) w zakresie spełniania warunków udziału w

postępowaniu, a w konsekwencji zaniechanie dokonania czynności wykluczenia

Przystępującego z postępowania i odrzucenia oferty złożonej przez tego wykonawcę,

pomimo, iż Przystępujący nie wykazał, że spełnia wskazane w SWZ warunki udziału w

postępowaniu w zakresie wymaganego doświadczenia oraz legitymowania się przez

personel tego wykonawcy wyznaczony do realizacji zamówienia odpowiednimi

kwalifikacjami,

2. naruszenie art. 239 ust. 1 Pzp, poprzez dokonanie nieprawidłowej czynności

badania i oceny oferty Odwołującego oraz oferty Przystępującego w zakresie kryterium

dotyczącego koncepcji funkcjonowania chatbota, poprzez nieuzasadnione obniżenie

punktacji oferty Odwołującego w ramach ww. kryterium przy jednoczesnym bezpodstawnym

zawyżeniu oceny Przystępującego w tym samym zakresie,

3. naruszenie art. 18 ust. 3 p.z.p. w zw. z art. 11 ust. 2 ustawy z 16 kwietnia

1993r. o zwalczaniu nieuczciwej konkurencji („dalej: „uznk”), poprzez zaniechanie odtajnienia

całości dokumentacji złożonej przez Przystępującego w postępowaniu wraz z ofertą, pomimo

niewykazania przez tego wykonawcę, iż dokumentacja złożona w postępowaniu stanowi

tajemnicę jego przedsiębiorstwa.

W związku z powyższymi zarzutami Odwołujący wniósł o uwzględnienie odwołania w

całości oraz nakazanie Zamawiającemu:

a. odtajnienia pełnej treści wszelkich dokumentów złożonych w postępowaniu

przez Przystępującego wraz z ofertą,

b. dokonania ponownej oceny ofert złożonych w postępowaniu i w ramach tej

ponownej oceny ofert: (i) dokonanie wyboru oferty Odwołującego jako najkorzystniejszej w

postępowaniu w oparciu o obowiązujące w postępowaniu kryteria oceny ofert, a także (ii)

wykluczenie Przystępującego z postępowania i odrzucenie oferty Przystępującego jako

niespełniającej warunków określonych w SWZ,

Uzasadniając zarzuty odwołania, Odwołujący wskazał, że Zamawiający w § 7 SWZ

wskazał na szereg warunków, które muszą zostać spełnione, aby wykonawca mógł

skutecznie ubiegać się o udzielenie zamówienia w postępowaniu. W zakresie posiadania

przez wykonawcę niezbędnych zdolności technicznych i zawodowych wskazanych w § 7 ust.

pkt 4 SWZ Zamawiający wprowadził warunek dotyczący posiadania przez wykonawcę

odpowiedniego doświadczenia oraz legitymowania się przez jego personel odpowiednimi

kwalifikacjami. W ocenie Odwołującego oferta Przystępującego nie spełnia wskazanych

przez Zamawiającego wymogów legitymowania się przez wykonawcę zarówno odpowiednim

potencjałem w zakresie niezbędnego doświadczenia, jak i odpowiednimi kwalifikacjami

personelu mającego realizować zamówienie.

Odwołujący wyjaśnił, że w ramach tego warunku Zamawiający w § 7 ust. 1 pkt 4 ppkt

A (ii) SWZ wskazał, że wymaga od wykonawcy, aby wykazał, „że w okresie ostatnich trzech

lat przed upływem składania ofert (a jeżeli okres prowadzenia działalności jest krótszy - w

tym okresie), należycie wykonał: co najmniej 3 usługi polegające na zaprojektowaniu i

wyprodukowaniu chatbota wykorzystującego NLP o łącznej wartości co najmniej 200.000,00

złotych” .

Na potwierdzenie spełniania ww. wymagań wykonawca zgodnie z § 8 ust. 2 pkt 7

SWZ zobowiązany był do przedstawienia m.in. „dowodów określających, czy te dostawy lub

usługi zostały wykonane lub są wykonywane należycie, przy czym dowodami, o których

mowa, są referencje bądź inne dokumenty sporządzone przez podmiot, na rzecz którego

dostawy lub usługi zostały wykonane”. Przystępujący w ramach swojej oferty przedstawił

szereg referencji, które jednak w ocenie Odwołującego nie potwierdzają spełniania przez

niego warunków wskazanych przez Zamawiającego w SWZ.

Odnosząc się do referencji wystawionej przez Grupę Żywiec S.A. Odwołujący

wskazał, że nie wskazuje ona, że czatbot, który został zrealizowany przez Przystępującego

dla tego podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej

przez Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez

Przystępującego zostały wykonane w sposób „należyty”. Wątpliwości Odwołującego budzi

także zakres zrealizowanych prac przez tego wykonawcę. Zamawiający w SWZ wymaga

potwierdzenia wykonania prac w przedmiocie zaprojektowania i wyprodukowania chatbota.

Referencja przedstawiona przez Przystępującego wskazuje natomiast na wykonanie prac

dotyczących zaprojektowania i wdrożenia chatbota, co nie jest spójne z warunkami SWZ.

Odnosząc się do referencji - JTI Polska sp. z o.o. Odwołujący również stwierdził, że

nie wskazuje ona, że czatbot, który został zrealizowany przez Przystępującego dla tego

podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez

Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez

Przystępującego zostały wykonane w sposób „należyty”. Referencja ta w żaden też sposób

nie wskazuje na zakres prac jaki został zrealizowany przez Przystępującego. Z tego względu

nie jest możliwa weryfikacja czy wykonawca ten w rzeczywistości dysponuje

doświadczeniem w zakresie projektowania i wyprodukowania czatbota wykorzystującego

technikę NLP.

Również w opinii Odwołującego referencja wystawiona przez ING Bank Śląski S.A.

nie wskazuje, że czatbot, który został zrealizowany przez Przystępującego dla tego podmiotu

w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez

Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez

Przystępującego zostały wykonane w sposób „należyty”. Wątpliwości Odwołującego budzi

także zakres zrealizowanych prac przez tego wykonawcę. Zamawiający w SWZ wymaga

potwierdzenia wykonania prac w przedmiocie zaprojektowania i wyprodukowania czatbota.

Referencja przedstawiona przez Przystępującego wskazuje natomiast na wykonanie prac

dotyczących zaprojektowania i wdrożenia chatbota, co nie jest spójne z warunkami SWZ.

Tożsame zastrzeżenia Odwołujący podniósł do referencji wystawionych przez

MetLife TUnŻiR S.A. oraz PKO Bank Polski S.A. Transcom Worldwide Poland sp. z o.o.

Odwołujący podkreślił ponadto, że łączna wartość zrealizowanych prac wynosi 208

762,98 zł brutto. Zamawiający z kolei wymagał legitymowania się przez wykonawcę

wykonaniem co najmniej 3 usług polegających na zaprojektowaniu i wyprodukowaniu

chatbota wykorzystującego NLP o łącznej wartości co najmniej 200.000.00 zł. Oznacza to,

że stwierdzenie, iż chociaż jedna (którakolwiek) z referencji przedstawionych przez

Przystępującego w ramach swojej oferty nie potwierdza legitymowania się przez tego

wykonawcę wymaganym doświadczeniem, prowadzi wprost do uznania, że Przystępujący

nie spełnia warunku udziału w postępowaniu w zakresie koniecznego doświadczenia.

Łączna bowiem wartość pozostałych zrealizowanych projektów przez tego wykonawcę nie

przekroczy wymaganej wartości 200 000,00 zł.

Dodatkowo Odwołujący wskazał, że referencje przedstawione przez spółkę Ermlab

sp. z.o.o (członek konsorcjum Przystępującego) w ramach postępowania dotyczące (i) usługi

anotacji danych oraz (ii) opracowania automatycznej sztucznej inteligencji wykorzystującej

sieci neuronowej zostały wystawione przez spółkę Emplocity S.A., czyli konsorcjanta spółki

Ermlab sp. z.o.o w postępowaniu. Oznacza to de facto, że te referencje były wystawiane w

formule „samej sobie”, przez członka konsorcjum na rzecz drugiego członka tego samego

konsorcjum. Co jeszcze istotne to fakt, że obie referencje zostały wystawione 21

października 2021 r. co wprost wskazuje, że zostało to przeprowadzone wyłącznie na

potrzeby Postępowania i wykazania, że zostały spełnione warunki udziału w nim. W opinii

Odwołującego powyższe sprawia, że referencje te są całkowicie niewiarygodne i w żaden

sposób nie potwierdzają posiadania przez Ermlab sp. z o.o. odpowiedniego doświadczenia

wymaganego przez Zamawiającego. Samo zaś udzielanie referencji wewnątrz

konsorcjalnych celem uzyskania korzyści w postaci spełnienia warunku udziału w

Postępowaniu powinno być przedmiotem szczególnie wnikliwego badania przez

Zamawiającego.

Następnie Odwołujący wskazał, że Zamawiający w § 7 ust. 1 pkt 4 ppkt B (6) SWZ

wskazał, że wymaga od wykonawcy, aby wykazał, „że dysponuje lub będzie dysponował

osobami które będą uczestniczyć w realizacji zamówienia, spełniającymi poniższe

wymagania:

Anotator - Wymagane kwalifikacje: Posiada doświadczenie w realizacji co najmniej 2

(dwóch) usług polegających na anotacji danych (przygotowaniu danych tak, aby mogły one

stanowić dane treningowe dla algorytmów uczenia maszynowego), które to usługi zostały

ukończone w ciągu 3 lat przed terminem składania ofert” .

Odwołujący podkreślił, że Przystępujący na potwierdzenie spełniania ww. warunku

przedstawiło wykaz osób, które uczestniczyłyby w wykonywaniu zamówienia wraz z

informacją na temat ich kwalifikacji zawodowych, doświadczenia i wykształcenia

niezbędnego do wykonania zamówienia, a także zakresu wykonywanych przez nie

czynności:

- M.S. (Programista z 4-letnim doświadczeniem. Ukończył studia informatyczne na

Uniwersytecie Warmińsko-Mazurskim w Olsztynie. Zajmuje się tworzeniem i rozwojem

oprogramowania systemów informatycznych przeznaczonych do przetwarzania i analizy

zbiorów danych. Interesuję się hobbystycznie analizą numeryczną.)

i. Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i

predykcji sytuacji kryzysowych w serwisach społecznościowych,

ii. Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji

użytkowników Internetu,

- P.B. (Absolwentka Uniwersytetu Warmińsko - Mazurskiego w Olsztynie na kierunku

dziennikarstwo i komunikacja społeczna. Specjalista ds. content marketingu, team lider i

copywriter kreatywny. Łączy analityczne myślenie z twórczością kreatywną. Od kilku lat

związana z branżą emarketingu)

i. Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i

predykcji sytuacji kryzysowych w serwisach społecznościowych,

ii. Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji

użytkowników Internetu,

- I.P. (Absolwentka studiów licencjackich na kierunku dziennikarstwo i komunikacja

społeczna na Uniwersytecie Warmińsko - Mazurskim w Olsztynie. Redaktorka serwisów

internetowych. Główne zainteresowania to social media, copywriting i content marketing.)

i. Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i

predykcji sytuacji kryzysowych w serwisach społecznościowych,

ii. Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji

użytkowników Internetu

W ocenie Odwołującego jednak żadna z ww. osób nie legitymuje się odpowiednim

doświadczeniem oraz kwalifikacjami wymaganymi przez Zamawiającego i spełniającym

warunki wskazane w SWZ. W powyższym bowiem zakresie - co należy wyraźnie podkreślić

- nie każde przygotowanie zbiorów danych na potrzeby treningu algorytmów jest

przeprowadzane w kontekście anotacji. Anotacja stanowi bowiem szczególny rodzaj

specjalizacji i usługi. Anotator danych, w kontekście danych tekstowych jest bowiem osobą o

wiedzy i doświadczeniu najczęściej z obszaru lingwistyki, językoznawstwa, wiedzy o języku,

która postępując według ustalonych instrukcji anotacji dokonuje znakowania tekstu.

Znakowanie może polegać na: dzieleniu tekstu na paragrafy, zdania i segmenty, opisywania

segmentów dodatkowymi informacjami, takimi jak znaczniki (tagi), łączenia segmentów

relacjami (tworzeniu struktur grafowych), a także poprawiania istniejącego tekstu. Czynność

ta wykonywana jest poprzez bezpośrednią pracę ręczną anotatora, z wykorzystaniem

dedykowanego oprogramowania, może być też wspomagane przez sugestie generowane

przez systemy automatyczne.

Odwołujący zauważył, że istotną częścią zamówienia opisaną w OPZ są prace

anotacyjne, które przewidziane zostały do zrealizowania przez potencjalnego wykonawcę.

Zgodnie z OPZ (część II, p. 2) w celu realizacji funkcjonalności nazwanej Przewodnik po

Zintegrowanym Systemie Kwalifikacji: „Zamawiający dostarczy zbiór dokumentów, które

powinny służyć trenowaniu opisanego modułu - w serwisie znajdują się obecnie 54

publikacje: dokumenty w formacie PDF oraz MS Word. Zawierają one tekst, tabele oraz

schematy (np. instrukcje postępowania, kolejne kroki instytucji wprowadzających

kwalifikacje, itp.). Ocenia się, że zbiór publikacji posłuży do przygotowania około 200 intencji.

Zadaniem Wykonawcy jest anotowanie wskazanych publikacji. W tym celu Wykonawca

opracuje klucz oraz wykorzystując opracowany klucz, pilotażowo anotuje 3 wskazane przez

Zamawiającego publikacje. Zarówno klucz, jak i wyniki pilotażowego anotowania będą

przedmiotem konsultacji z Zamawiającym i posłużą opracowaniu ostatecznego rozwiązania,

służącego anotowaniu przez Wykonawcę wszystkich 54 publikacji". Z kolei w celu realizacji

funkcjonalności nazwanej „Wirtualne Doradztwo Zawodowe”: „(...) Wykonawca pod

kierunkiem Zamawiającego dokona anotacji danych - ponad 10 000 kwalifikacji z ZRK - pod

kątem zainteresowań i uzdolnień, które mogą stanowić podstawę dopasowania do wymagań

czy oczekiwań użytkownika". W związku z powyższym Odwołujący wskazał, że z niezbędne

jest wzbogacenie istniejących 54 publikacji dodatkowymi informacjami, służącymi do

powiązania intencji użytkownika z informacjami znajdującymi się w publikacjach. Praca ta

polega między innymi na:

- oznaczeniu w tekście fragmentów, które odpowiadają na pytania użytkownika

czatbota,

- przekształceniu informacji zawartych w tabelach i schematach na postać tekstową,

- ręcznym przygotowaniu odpowiedzi na pytania użytkownika na podstawie treści

publikacji.

Zamawiający wymaga opracowania przez wykonawcę "klucza" - instrukcję anotacji -

i na tej podstawie oznakowania początkowo 3 publikacji, a następnie (po konsultacji pilotażu)

wszystkich 54. Podobnie, należy zaanotować dodatkowymi informacjami ponad 10 000

kwalifikacji z ZRK. Proces przygotowania instrukcji anotacji, a następnie ręcznej pracy

związanej ze wzbogacaniem informacji zawartych w tekście lub zbiorze tekstów jest

definicyjnym określeniem roli anotatora w projekcie - osoby, która polegając na swoim

wykształceniu dotyczącym wiedzy o języku, doświadczeniu i wykonując ręczną pracę

znakowania jest w stanie przygotować dane do trenowania modeli uczenia maszynowego.

Odwołujący podkreślił, że Przystępujący przedstawia w swojej ofercie m.in. p. M.S. jako

osobę, która miałaby realizować anotację w ramach zamówienia, samemu jednocześnie

podkreślając, że p. Stefaniak jest programistą, a nie anotatorem, który w przeciwieństwie do

programisty dodaje do zasobów tekstowych informacje za pomocą pracy ręcznej, bazując na

swojej wiedzy językowej oraz wiedzy dziedzinowej. Programista przetwarza z kolei dane w

sposób automatyczny: praca programisty w projekcie związanym z danymi tekstowymi może

polegać na filtrowaniu danych, konwersji formatów i innych zadaniach związanych z

przetwarzaniem danych, tworzeniu narzędzi do anotacji dla anotatorów, co jednak nie

powoduje dodania do nich nowych informacji, które wcześniej się tam nie znajdowały.

Odwołujący podkreślił, że sam Zamawiający wyraźnie rozróżnia rolę programisty oraz rolę

anotatora, oczekując od wykonawcy dokonania wyceny godziny pracy (przy realizacji modułu

eksperymentalnego) w podziale na te dwa stanowiska. Tym samym w opinii Odwołującego

Przystępujący nie wykazał dysponowania przez siebie personelem wymaganym treścią

SWZ. Nie przedstawiono bowiem, aby osoby wymienione w złożonym wykazie personelu

posiadały doświadczenie w pracy nad danymi w zakresie anotacji. Tymczasem ma to

kluczowe znaczenie z punktu widzenia przedmiotu postępowania i czynności, które będą

wykonywane w ramach realizacji zawartego kontraktu. Niewłaściwa bowiem obsada

kluczowych pozycji w ramach zamówienia (tj. praca anotatora) uniemożliwia poprawną

realizację jego przedmiotu. Zamawiający powinien zatem mieć gwarancję, iż osoby

wskazane przez wykonawcę jako jego kluczowy personel mają kwalifikacje realnie

odpowiadające przedmiotowi późniejszego świadczenia. W omawianym przypadku, w ocenie

Odwołującego, okoliczność ta nie została jednak wykazana.

Uzasadniając zarzut dotyczący nieuzasadnionego zaniżenie punktacji oferty

Odwołującego przy jednoczesnym bezpodstawnym zawyżeniu punktacji oferty

Przystępującego w zakresie kryterium koncepcji, Odwołujący wskazał, że Zamawiający jako

jedno z kryteriów oceny w ramach postępowaniu ustanowił konieczność sporządzenia przez

wykonawców koncepcji funkcjonowania czatbota w ramach modułu Wirtualnego Asystenta

Doradztwa Zawodowego. Zamawiający w SWZ wskazał, że: „Dla wybranego spośród 3

przytoczonych w załączniku nr 9 do SWZ przykładów opisów osób (person) korzystających z

czatbota (jej potrzeb oraz oczekiwań) oraz przy wykorzystaniu źródła danych, na podstawie

których czatbot powinien udzielać odpowiedzi na pytania tej osoby (kwalifikacje z ZRK oraz

informacje z portalu ), należy przygotować koncepcję, która będzie

zawierać:

- proponowany schemat rozmowy (tzw. flow) osoby z czatbotem (dialog

zawierający 30 par pytań i odpowiedzi) obejmujących: o pytania zadawane przez osobę

korzystającą z czatbota;

- pytania, które zada czatbot (pytania otwarte lub opcje wyboru) pozwalające

doprecyzować zakres udzielanej odpowiedzi;

- propozycję treści odpowiedzi udzielanych przez czatbota (tekst, odesłania do

materiałów, propozycje zapoznania się z treściami z ZRK - np. konkretny fragment opisu

danej kwalifikacji, odesłania do zewnętrznych źródeł wiedzy, narzędzi lub aplikacji);

- propozycję dodatkowych tematów rozmowy, które może zaproponować

czatbot;

- opis funkcjonalności czatbota, które zostały wykorzystane w rozmowie (np.

pytania zamknięte, pozwalające doprecyzować zakres udzielanej odpowiedzi, odesłania do

określonych źródeł informacji) z uzasadnieniem ich zastosowania oraz krótkim wskazaniem,

w jaki sposób mogą zostać wdrożone (np. integracja z innymi aplikacjami, zastosowanie

określonej technologii, itp.) - opis powinien zawierać do 5 funkcjonalności kluczowych z

perspektywy opracowywanego schematu rozmowy i nie powinien być dłuższy niż 5400

znaków (3 strony znormalizowanego maszynopisu).

Z kolei w zakresie oceny koncepcji zrealizowanych przed wykonawców Zamawiający

wskazał, że „każdy z członków Komisji Przetargowej dokona indywidualnie oceny w

następujący sposób:

- schemat rozmowy z czatbotem - 15 punktów, w tym:

- adekwatność informacji udzielanych przez czatbota (na ile odpowiadają na

potrzeby osoby korzystającej z czatbota) - 0-5 punktów;

- wskazanie kluczowych dla danej osoby informacji wyjaśniających

prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak

rozumieć dane treści) - 0-5 punktów;

- zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie

zakresu informacji udzielanych osobie - 0-5 punktów punkty w zakresie 0-5 - przyznawane

wg. skali szkolnej

- opis funkcjonalności czatbota - 15 punktów, w tym:

- 3 punkty za każdą funkcjonalność, która została wskazana, o ile uzasadniono

jej zastosowanie w odniesieniu do potrzeb osoby korzystającej z czatbota (2 punkty) oraz

wskazano, w jaki sposób może zostać wdrożona (1 punkt). Ocenie podlegać będzie 5

pierwszych opisanych funkcjonalności. Jeżeli w ofercie znajdzie się więcej niż 5

funkcjonalności, pozostałe nie będą brane pod uwagę przy ocenie oferty.

- poprawność stosowania terminologii ZSK - 5 punktów (zasada odejmowania

punktów za niepoprawnie używaną terminologię):

- -1 punkt za każdy błąd w używaniu terminologii ZSK w dialogach, zawężając

ocenę do wypowiedzi udzielanych przez czatbot”.

Odwołujący wyjaśnił, że Przystępujący uzyskał w ramach oceny przez

Zamawiającego koncepcji funkcjonowania czatbota 33 punkty na 35 możliwych. W ocenie

Odwołującego jest to skrajnie zawyżona punktacja, które nie oddaje realiów przygotowanej

przez Przystępujący koncepcji. Podkreślił, że dla Zamawiającego kluczowym aspektem w

realizacji zamówienia jest integracja „Wirtualnego Asystenta” z Zintegrowanym Rejestrem

Kwalifikacji. Wskazuje na to wprost OPZ: „Przedmiotem zamówienia jest usługa polegająca

na stworzeniu, wdrożeniu, dostarczeniu dostępu na czas realizacji zamówienia, utrzymaniu

oraz instalacji na serwerach IBE i rozwoju czatbota - Wirtualnego Asystenta,

zaimplementowanego w serwisie Zintegrowanego Rejestru Kwalifikacji (dalej: ZRK). Czatbot

będzie pełnił role: 1) przewodnika po ZRK, 2) przewodnika po ZSK oraz 3) asystenta

podstawowego doradztwa zawodowego ograniczonego dziedzinowo do zakresu ZRK”,

„Czatbot będzie wspierać proces doradztwa zawodowego na podstawowym poziomie i w

zakresie umożliwionym przez zawartość danych w ZRK, a w przyszłości może

wykorzystywać do tego doradztwa także pozostałe aplikacje tworzone przez IBE”.

„Uruchomienie Wirtualnego Asystenta ma rozszerzyć możliwości doradztwa o praktyczny i

intuicyjny w obsłudze dostęp do kwalifikacji zebranych w ZRK”, „Ujmując krótko zadanie

Wirtualnego Asystenta, praca czatbota polega na zebraniu informacji / preferencji

Użytkownika, następnie na tej podstawie ukierunkowanie dalszego dialogu i przekazanie

informacji Użytkownikowi na zadane pytanie lub odniesienie się do poruszonego tematu w

ramach wiedzy o ZSK, w tym ZRK". Tymczasem Przystępujący w zasadniczej mierze

stworzył swoją koncepcję funkcjonowania czatbota w całkowitym oderwaniu od

Zintegrowanego Rejestru Kwalifikacji. Przystępujący w przygotowanej koncepcji w zasadzie

nie korzysta z terminologii ZRK. Umożliwia to co prawda uniknięcie przez tego

Przystępującego punktów ujemnych w ramach oceny tego kryterium, jednak całkowicie

wypacza sens przygotowanej koncepcji, która w istocie nie odpowiada celowi prowadzonego

przez Zamawiającego postępowania - realizacji Wirtualnego Asystenta zintegrowanego z

ZRK. Powyższe, według Odwołującego, potwierdza, że Przystępującemu niesłusznie

przyznano 33 punkty w kategorii "adekwatność" / "wskazanie kluczowych dla danej osoby

informacji" / "zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie

zakresu informacji udzielanych osobie" / "poprawność stosowania terminologii ZRK", gdyż

kluczowy zasób wymieniony w OPZ został zasadniczo pominięty w opisanym rozwiązaniu,

co oznacza, że rozwiązanie to nie spełnia wymagań OPZ i nie jest z nim zgodne. W

konsekwencji nie można tak wysoko jak Zamawiający punktować rozwiązania, które ignoruje

integrację z ZRK, bowiem taki jest zasadniczy cel projektu opisanego w OPZ. Odwołujący

zaznaczył, że kompleksowe omówienie błędów Przystępującego w swojej koncepcji jest

jednak dla Odwołującego z uwagi na bezpodstawną odmowę Zamawiającego jej odtajnienia.

Ponadto, szeroka i kompleksowa wiedza rynkowa, którą dysponuje Odwołujący wprost

wskazuje, że Przystępujący nie posiada odpowiednich kwalifikacji, kompetencji i

doświadczenia, aby przygotować koncepcję funkcjonowania czatbotu w sposób, który

umożliwiałby jej ocenienie na zasadzie maksymalną liczbą punktów. Podkreślił, że w

relatywnie krótkim czasie jaki został wyznaczony przez Zamawiającego na złożenie ofert, nie

jest możliwe, aby Przystępujący pozyskał dodatkowe kompetencje/doświadczenie w tym

zakresie, których wcześniej nie posiadało. Oferta Przystępującego jedynie szczątkowo

odnosi się do ZRK, gdyż podmiot ten nie posiada wystarczających doświadczeń w tym

zakresie. Odmiennie natomiast kształtuje się doświadczenie Odwołującego - jeden z

członków konsorcjum Odwołującego - IPIPAN zrealizował bowiem wiele podobnych

projektów, dzięki czemu jest na polskim rynku ekspertem w tym zakresie. Nie jest zatem

możliwe, aby Przystępujący nie posiadający porównywalnego doświadczenia do

Odwołującego, a także podobnych kompetencji i kwalifikacji uzyskał istotnie wyższą ocenę w

kryterium opracowania koncepcji funkcjonowania chatbota niż Odwołujący, który zrealizował

co najmniej kilka podobnych projektów na rzecz Zamawiającego.

Dalej Odwołujący wskazał, że ocena jego koncepcji w zakresie kryterium (i) schemat

rozmowy z czatbotem oraz (ii) poprawność stosowania terminologii ZSK została również

błędnie przeprowadzona, z tym jednak zastrzeżeniem, że w przypadku Odwołującego

Zamawiający zaniżył punktację realnie przysługującą Odwołującemu w ramach ww.

kryteriów.

Kryterium - schemat rozmowy z czatbotem

Oceniając ofertę złożoną przez Odwołującego w postępowaniu Zamawiający w

zakresie koncepcji funkcjonowania czatbota i opisu funkcjonalności czatbota przyznał

Odwołującemu maksymalną liczbę punktów - 15. Jednak już w kategorii schemat rozmowy z

czatbotem Zamawiający przyznał jedynie 10 na 15 możliwych do zdobycia punktów

wskazując przy tym, że:

Ocena 1:

„Adekwatność informacji - czatbot proponuje rozmówcy: 1) kwalifikację ze

szkolnictwa zawodowego - archiwalną, a więc taką, której już nie można pozyskać, opis jest

dostępny na stronie ZRK, czatbot nie reflektuje się, że ta informacja jest nieadekwatna i

podaje dalsze informacje, 2) czatbot proponuje studia jednolite (5-letnie), jako przykład

konkretnej realizacji studiów wskazuje jednak studia II stopnia (2-letnie), jako wymaganie do

podjęcia wskazanych studiów podaje świadectwo ukończenia szkoły średniej - co nie jest

precyzyjne, ponieważ są różne świadectwa, zapewne chodziło o świadectwo dojrzałości oraz

certyfikat z języka obcego - nie wiadomo, na jakiej podstawie, opis kwalifikacji nie

wprowadza takiej informacji - oba wymagania są błędne w kontekście studiów II stopnia,

które podejmuje się po studiach I stopnia, a więc wymagają dyplomu ukończenia studiów I

stopnia, 3) czatbot wskazuje kwalifikację ze szkolnictwa zawodowego, którą można uzyskać

po ukończeniu 2-letniej szkoły policealnej oraz po uzyskaniu kwalifikacji poprzedzającej -

jest to nieadekwatna informacja dla rozmówcy, który już ukończył edukację (również

policealną) i szuka pracy: 0,0

Objaśnianie prezentowanych treści: 5, 0 Adekwatność sposobów doprecyzowania:

5,0” Ocena 2:

„Adekwatność informacji - 0 pkt

1. Niezgodnie z opisem persony, rozmówca chatbota błędnie wskazuje

posiadaną kwalifikację - wskazuje Świadczenie usług opiekuńczo - wspierających osobie

starszej zamiast Opiekun w domu społecznym. Błąd ten determinuje dalszy przebieg

wywiadu - osoba nie uzyskuje informacji adekwatnych do swoich potrzeb.

2. Błędnie wskazana kwalifikacja: Świadczenie usług

pielęgnacyjno-

opiekuńczych osobie chorej i samodzielnej jest kwalifikacją archiwalną.

3. Błędnie wskazana kwalifikacja: Pielęgniarstwo studia II stopnia - chatbota nie

wskazuje, że wymagane są studia I stopnia poprzedzające studia II stopnia

4. Błędnie wskazana kwalifikacja: Ratownik medyczny - szkolnictwo zawodowe -

nieadekwatnie do potrzeb, rozmówca szuka pracy, jest absolwentem szkoły policealnej

Kluczowe informacje wyjaśniające - 5 pkt Sposoby doprecyzowania informacji - 5

pkt”

Ocena 3:

„adekwatność - 0 informacje wyjaśniające - 5 adekwatność sposobów na

doprecyzowanie - 5.

Za nieadekwatne rekomendacje należy uznać w zachowaniu czatbota:

a) polecenie kwalifikacji archiwalnej Świadczenie usług pielęgnacyjno-

opiekuńczych osobie chorej i samodzielnej (od 2019) - kwalifikacji tej nie można zdobyć,

b) polecenie kwalifikacji Pielęgniarstwo ze szkolnictwa wyższego II stopnia

osobie, która nie posiada dyplomu I stopnia (opisany użytkownik czatbota, absolwent szkoły

policealnej, nie będzie w stanie jej zdobyć),

c) czatbot udziela informacji o kwalifikacji II stopnia i podaje nieadekwatne

informacje o wymaganiach dla tej kwalifikacji: znajomość języka obcego na poziomie B1 i

świadectwo ukończenia szkoły średniej,

d) udzielenie informacji o zarobkach na podstawie Ekonomicznych Losów

Absolwentów dla kwalifikacji branżowej Świadczenie usług pielęgnacyjno-opiekuńczych

osobie chorej i samodzielnej (od 2019) - ELA obejmuje informacje dotyczące kwalifikacji ze

szkolnictwa wyższego, ale nie branżowego,

e) czatbot błędnie uznaje, że M. posiada kwalifikację Świadczenie usług

pielęgnacyjno-opiekuńczych osobie starszej. Zgodnie z opisem persony posiada on

kwalifikację Opiekun w domu pomocy społecznej.

Za każdą nieadekwatność odjęto 1 punkt, łącznie 5.”

Odwołujący zauważył, że w przypadku dwóch ocen (rzekomo dokonanych

niezależnie) pojawia się ten sam błąd - wskazanie kwalifikacji „Świadczenie usług

pielęgnacyjno - opiekuńczych osobie chorej i samodzielnej”, choć ta kwalifikacja nie pojawia

się w przygotowanym przez Odwołującego scenariuszu (pojawia się „Świadczenie usług

pielęgnacyjno - opiekuńczych osobie chorej i niesamodzielnej”). Oceny nieprawidłowo

stwierdzają, że chatbot „wskazuje Świadczenie usług opiekuńczo - wspierających osobie

starszej zamiast Opiekun w domu społecznym”. Jest to wybór dokonywany przez

Użytkownika i nie ma związku z rekomendacjami Systemu. Ponadto, Użytkownik ma prawo

nie wiedzieć jaką dokładnie kwalifikację zdobył, nie jest to jednak wada oferowanego

systemu, lecz wynik wyboru samego użytkownika. Za ten fakt odjęty został bezpodstawnie 1

punkt w dokonanej ocenie przez Zamawiającego. Według Odwołującego, oceny

nieprawidłowo stwierdzają także, że chatbot poleca „Świadczenie usług pielęgnacyjno -

opiekuńczych osobie chorej i niesamodzielnej” - chatbot prezentuje tę kwalifikację jako jedną

z dostępnych w ZRK. Podobnie kwalifikacja ta prezentowana jest na oficjalnych stronach

Zintegrowanego Systemu Kwalifikacji . Za ten fakt został również bezpodstawnie odjęty 1

punkt w dokonanej ocenie.

Odwołujący podkreślił, że jeden z członków konsorcjum Odwołującego - Instytut

Podstaw Informatyki PAN jest podmiotem posiadającym najszersze i całkowicie unikalne w

skali kraju doświadczenie w zakresie realizacji projektów wymagających dokładnej analizy

zawartości rejestru, utworzenia narzędzi do grupowania, klasyfikacji kwalifikacji, a także ich

wyszukiwania. Instytut Podstaw Informatyki PAN w tym zakresie zrealizował projekty

związane z Zintegrowanym Rejestrem Kwalifikacji dla Instytutu Badań Edukacyjnych

dotyczące m.in.:

- Analizy istniejących rozwiązań opisujących grupowanie kwalifikacji - ekspertyza

dotycząca automatycznej analizy i porównywania kwalifikacji w celu ich grupowania ,

- Pilotażu rozwiązania grupowania kwalifikacji wraz z grupowaniem kwalifikacji ,

- Wykonania narzędzia analitycznego, umożliwiającego analizę dużej liczby

kwalifikacji, ich porządkowanie i systematyzowanie .

Powyższe, według Odwołującego potwierdza, że doświadczenie w sposób oczywisty

przekłada się na realizację koncepcji funkcjonowania czatbotu, jej jakość i kompletność, co

powinno znaleźć odzwierciedlenie w przyznanej Odwołującemu odpowiedni wysokiej ocenie

koncepcji.

(ii.) Kryterium - poprawność stosowania terminologii ZSK

W zakresie kategorii poprawności stosowania terminologii ZSK Zamawiający przyznał

Odwołującemu jedynie 3 na 5 możliwych do zdobycia punktów uzasadniający to w

następujący sposób: „3 pkt w tym: czatbot pyta: „którą kwalifikację zrealizowałeś?” - nie

można „zrealizować” kwalifikacji - można ją pozyskać, posiadać -1,0; czatbot wymienia

“świadectwo ukończenia szkoły średniej” w kontekście podjęcia studiów II stopnia - pojęcie

takiego świadectwa jest zbyt szerokie, błąd terminologiczny polega na tym, że takiej

kwalifikacji nie ma, w kontekście studiów powinien posługiwać się terminem świadectwo

dojrzałości -1,0”.

Powyższa punktacja Zamawiającego jest również w ocenie Odwołującego błędna i w

sposób nieuprawniony zaniża wynik punktowy przygotowanej koncepcji. Zamawiający w

żaden sposób nie wyjaśnia na jakiej podstawie przyjmowane są konkretne rozstrzygnięcia

terminologiczne wskazane w ocenie koncepcji. Publicznie dostępny "Słownik ZSK" jedynie

wskazuje np. że "kwalifikację można zdobyć". Sformułowania wynikają jedynie z analizy

stosowanych w dokumencie zwrotów, a lista sformułowań, które byłby dla Zamawiającego

poprawne nie została w żaden sposób zawarta w jakimkolwiek obowiązującym wykonawców

katalogu. Nie jest również wprost wykluczone użycie innego rodzaju sformułowania, jak na

przykład "zrealizować kwalifikację", a słownikowo są to wyrazy bliskoznaczne: zrealizować:

"sprawić, że jakieś plany, marzenia, zamiary itp. staną się rzeczywistością", zdobyć:

"pozyskać coś, o co się zabiegało". Z tego względu użycie sformułowania zamiennego nie

może być postrzegane jako błąd w przygotowaniu koncepcji i skutkować obniżeniem

punktacji Odwołującego.

W konsekwencji Odwołujący stwierdził, że ocena oferty Odwołującego w zakresie

koncepcji funkcjonowania „Wirtualnego Asystenta” została sporządzona w sposób błędny i

nierzetelny. Dodatkowo wskazuje na to fakt, że dla tak skomplikowanego i złożonego

przedmiotu zamówienia, ocena punktowa wszystkich trzech członków komisji była

identyczna. Punktacja członków komisji nie różniła się w odniesieniu do któregokolwiek z

kryteriów oceny, co może wskazywać na brak przeprowadzenia faktycznej i realnej oceny

koncepcji przez każdego z członków komisji i oparcie się w tym zakresie wyłącznie na

ustaleniach jednego członka komisji. Byłoby to sprzeczne z ideą komisyjnej oceny koncepcji

przedkładanych przez wykonawców, a także świadczyłoby o nierzetelności i niskiej jakości

przeprowadzonej oceny ofert w postępowaniu.

Zamawiający w odpowiedzi na odwołanie z dnia 29 listopada 2021r. oświadczył, że

uwzględnia w części zarzuty przedstawione w przedmiotowym odwołaniu tj. w odniesieniu do

zarzutu wskazanego w pkt. 3 odwołania, czyli naruszenia naruszenie art. 18 ust. 3 p.z.p. w

zw. z art. 11 ust. 2 uznk, poprzez zaniechanie odtajnienia całości dokumentacji złożonej

przez Przystępującego w postępowaniu wraz z ofertą, pomimo niewykazania przez tego

wykonawcę, iż dokumentacja złożona w postępowaniu stanowi tajemnicę jego

przedsiębiorstwa.

W dniu 1 grudnia 2021r. Zamawiający złożył kolejną odpowiedź na odwołanie

wnosząc o oddalenie pozostałych zarzutów odwołania jako bezzasadnych.

Odnosząc się do zarzutów dotyczących niespełnienia przez Przystępującego

warunków udziału w postępowaniu zauważył, że Odwołujący skierował zastrzeżenia jedynie

do treści referencji przekazanych przez Konsorcjum, pomijając całkowicie treść złożonego

wykazu. Zamawiający wskazał, że wszystkie zastrzeżenia Odwołującego w tym zakresie są

niezasadne, ponieważ dokument referencji wystawiany przez kontrahenta nie musi zawierać

określonych elementów np. w zakresie wartości, czy też elementów zrealizowanych w

ramach potwierdzanej usługi - wystarczającym jest by była możliwa identyfikacja referencji z

pozycją wskazaną w wykazie przygotowanym przez wykonawcę - tak w tym przypadku jest

w odniesieniu do każdego dokumentu referencji. Co oczywiste - sprawdzenie spełnienia

warunków udziału odbywa się poprzez analizę wykazu przygotowywanego na użytek danego

postępowania - referencje mają jedynie charakter posiłkowy. Zamawiający stwierdził

ponadto, że elementem referencji jest potwierdzenie należytości wykonania potwierdzanej

usługi - przy czym nie musi to być zrealizowane - jak tego wymaga odwołujący - z

wykorzystaniem słowa „należyte”. Potwierdzeniem „należytości” jest każde sformułowanie

świadczące o pozytywnym odbiorze przez kontrahenta wykonanych usług (dotychczasowej

współpracy). Mając na względzie cel referencji - czyli swoistych listów polecających dla

innych Zamawiających - za równoznaczne z pozytywnym odbiorem usługi (czyli należytości

wykonania danej usługi) należy również uznać rekomendacje dla Wykonawcy - co ma

miejsce w zdecydowanej ilości kwestionowanych przypadków.

Odnosząc się do zastrzeżeń Odwołującego co do zrealizowanego przez

Przystępującego „przerobu” powyżej 200 tys. zł - z racji tego że żadne z zastrzeżeń

dotyczące referencji nie okazało się zasadne - to również zarzut braku wymaganego

przerobu - nie potwierdził się. Zamawiający podkreślił ponadto, że żaden przepis prawa nie

wyklucza możliwości posłużenia się doświadczeniem w usługach zrealizowanych na rzecz

innego konsorcjanta. Co więcej - współpraca i znajomość „biznesowa” pomiędzy

konsorcjantami są oczywistą i naturalną bazą dla zawiązania konsorcjum. Zarzuty są

gołosłowne i bezpodstawne.

Odnosząc się do zarzutów dotyczących braku kwalifikacji osób wskazanych na

stanowiska anotatora, Zamawiający wskazał, że z racji nieokreśloności terminu

oznaczającego tę czynność i osoby ją wykonujące Zamawiający w nawiasie doprecyzował

co rozumie pod pojęciem anotacji. Co ważniejsze - Zamawiający przyjął szeroką definicję -

pomijając słowo „tekstowych” - czego nie zauważa Odwołujący, czyniąc z tego braku oś

swoich twierdzeń o nieadekwatności doświadczenia ekspertów Przystępującego. Jak

wyjaśnił Zamawiający to pominięcie jest świadome i ma na celu maksymalne otwarcie

zamówienia na rynek. Zamawiający jest świadomy, że anotacją danych tekstowych w sensie

wskazanym w odwołaniu zajmuje się w Polsce stosunkowo niewiele osób, z którymi

konsorcjant odwołującego (IPI PAN) ma o wiele łatwiejszą możliwość nawiązania kontaktu i

współpracy niż inne podmioty. Stąd też aby umożliwić realną konkurencję na rynku szeroko

zdefiniował pojęcia anotacji - odnosząc je do każdego rodzaju danych - a nie tylko do - jak

chce odwołujący - „danych tekstowych”. Ponadto Zamawiający podkreślił, że czym innym

jest wymóg określony w OPZ - czyli w odniesieniu do tego co rzeczywiście będą robić

anonatorzy, a czym innym są wymogi odnośnie spełnienia „minimalnych” warunków udziału.

Innymi słowy osoby spełniające minimalne warunki udziału - zdaniem Zamawiającego - po

odpowiednim przeszkoleniu, co jest zakładane w zadaniach anotacji danych - są w stanie

prawidłowo zrealizować zamówienie. W świetle tak zdefiniowanego wymogu - każda z osób

wskazanych w ofercie Przystępującego spełnia wymogi SWZ.

Odnosząc się do zarzutów dotyczących nieuzasadnione zaniżenie punktacji oferty

odwołującego przy jednoczesnym bezpodstawnym zawyżeniu punktacji oferty

Przystępującego w zakresie kryterium koncepcji, Zamawiający stwierdził że są one

gołosłowne. Nie wiadomo, na jakiej podstawie Odwołujący mówi o „skrajnie zawyżonej

punktacji” (pkt. 50). Nie jest prawdą, że koncepcja funkcjonowania czatbota opracowana

przez Przystępującego jest w całkowitym oderwaniu od Zintegrowanego Rejestru

Kwalifikacji. Koncepcja czatbota przygotowana przez tego wykonawcę i przedstawiona w

dialogu korzysta z terminologii i zasobów danych w ZRK, zakłada także integrację z portalem

ZSK/ZRK.

Zamawiający podkreślił, że ten element koncepcji był oceniany za pomocą skali

szkolnej - 0-5. Odejmowanie punktów za konkretne błędy wskazane w kartach ocen i

przytoczone w odwołaniu ma charakter pomocniczy, wskazujący braki uzasadniające niską

lub zerową ocenę. Podkreślenia wymaga że opracowanie dialogu z czatbotem - wbrew

peanom na temat własnych kompetencji Odwołującego- jest minimalistyczne co do formy i

treści i obarczone licznymi błędami merytorycznymi (wskazanymi w ocenie poszczególnych

członków komisji). Niezależenie od powyższego, zwracamy uwagę że punkty zostały odjęte

tylko w podkryterium adekwatności dialogu - właśnie ze względu na błędy merytoryczne,

takie jak np. podpowiedź zdobycia kwalifikacji archiwalnej - tj. niemożliwej w danym miejscu

i czasie do zdobycia - bądź też możliwości zdobycia kwalifikacji - której bez skończenia

określonych studiów nie można pozyskać - co dla osoby szukającej pracy jest całkowicie

nieprzydatne.

Zamawiający zauważył Odwołujący kwestionuje prawo do odjęcia punktów w sytuacji,

gdy w schemacie rozmowy pojawia się błędny wybór użytkownika. Odwołujący twierdzi, że to

nie jest błąd systemu (czyli Wykonawcy), lecz błąd użytkownika, który może się zdarzyć i nie

powinien być oceniany negatywnie jako błąd Wykonawcy. Rzekomy błąd użytkownika

czatbota (który wybiera nieposiadaną przez siebie kwalifikację) w scenariuszu

przygotowanym przez Wykonawcę jest w istocie błędem Wykonawcy. Wykonawca

przygotował swój dialog w sposób oparty na błędnym wyobrażeniu wybranej przez siebie do

tego zadania jednej z trzech person posiadanych przez nią kwalifikacji, jej umiejętności i

potrzeb. Z tego względu, według Zamawiającego, należy uznać dialog za nieadekwatny

względem potrzeb persony przedstawionej w SWZ. Zamawiający wskazał, że z twierdzeniem

Odwołującego można by się zgodzić, gdyby opracowany schemat rozmowy w przypadku

takiego błędu wskazał ten błąd i naprowadził użytkownika z powrotem na właściwą ścieżkę -

zgodną z logiką postawionego zadania. Tutaj tego nie ma. Ponadto, Zamawiający wskazał,

że błędem jest wskazanie - jako możliwej do uzyskania kwalifikacji archiwalnej - czyli

niemożliwej do uzyskania w danym miejscu i czasie. Fakt, że oficjalny rejestr kwalifikacji

prezentuje takie archiwalne możliwości, podobnie jak przyszłe możliwości (czyli kwalifikacje

jeszcze niezatwierdzone, w trakcie procesu akceptacji) nie sanuje błędnych wyborów

dokonanych przez Wykonawcę w rozmowie - mającej zaprezentować m.in. znajomość

systemu ZSK.

W opinii Zamawiającego, gołosłowne jest również twierdzenie Odwołującego jakoby

ocena ofert była jedynie „rzekomo” niezależna. Członkowie Komisji Przetargowej dokonali

oceny indywidualnej, mieli również 2 spotkania uzgodnieniowe, nie jest wykluczone - w

czasach google'a i pracy zdalnej - że korzystano z już istniejących fragmentów opracowań -

co nie znaczy, że ocena merytoryczna była niesamodzielna. O samodzielności ocen -

chociaż nie jest to zarzut, który został podniesiony w petitum odwołania, a skoro tak to KIO

nie będzie go rozpatrywać - świadczą zacytowane w odwołaniu fragmenty ocen

indywidualnych.

Odnosząc się do zarzutów dotyczących oceny w kryterium - poprawność stosowania

terminologii ZSK, Zamawiający wskazał, że całość zarzutu jest oparta na obronie

poprawności zastosowania w ofercie zwrotu „zrealizowania kwalifikacji”. Odwołujący nie

widzi różnicy między "zrealizowaniem kwalifikacji" a "zdobywaniem kwalifikacji". Wynika to z

faktu, że w języku potocznym wyraz "kwalifikacja" jest bliskoznaczny wyrazowi

"umiejętność". Tymczasem w Zintegrowanym Systemie Kwalifikacji słowo "kwalifikacja"

dotyczy zdobywanych w procesie potwierdzania umiejętności certyfikatów oraz świadectw i

dyplomów, które są dokumentami urzędowymi, opisanymi przepisami prawa. Widać to na

przykładzie używanych sformułowań: "zdobyć świadectwo dojrzałości", "potwierdzić

kwalifikację przygotowanie deserów restauracyjnych" w odróżnieniu od niepoprawnych

sformułowań: "zrealizować świadectwo dojrzałości", "zrealizować kwalifikację przygotowanie

deserów restauracyjnych". Skutkiem "zdobycia", "potwierdzenia" kwalifikacji jest otrzymanie

przez osobę zainteresowaną odpowiedniego świadectwa, dyplomu, certyfikatu, który

uprawnia do podjęcia dalszej nauki lub pracy zawodowej. Odwołujący wymienia słowa

“zrealizować” oraz “zdobyć” jako bliskoznaczne. Dopuszczalne jest powiedzenie

“zrealizować marzenia”, ale nie jest poprawne sformułowanie “zdobyć marzenia”.

Bliskoznaczność słów nie przemawia za możliwością ich wymiennego stosowania w każdym

kontekście. Inny przykład: słowa “funkcja” i “stanowisko” są bliskoznaczne, jednakże choć

poprawne jest połączenie “pełnić funkcję”, nie jest poprawne “pełnić stanowisko” (poprawne

jest z kolei “zajmować stanowisko”, ale nie “zajmować funkcję” - zob. np. Wielki słownik

poprawnej polszczyzny).

Krajowa Izba Odwoławcza uwzględniając dokumentację z przedmiotowego

postępowania o udzielenie zamówienia publicznego, jak również oświadczenia,

stanowiska stron złożone w trakcie rozprawy, ustaliła i zważyła, co następuje:

odwołanie nie zasługiwało na uwzględnienie.

Izba stwierdziła, iż nie została wypełniona żadna z przesłanek skutkujących

odrzuceniem odwołania na podstawie art. 528 Pzp i skierowała sprawę na rozprawę.

Ponadto Izba ustaliła, że Odwołujący posiada interes we wniesienia odwołania wynikający z

art. 505 Pzp.

Izba dopuściła do udziału w postępowaniu wykonawców wspólnie ubiegających się o

udzielenie zamówienia Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz ERMLAB

Sp. z o.o. z siedzibą w Olsztynie zgłaszających przystąpienie do postępowania

odwoławczego po stronie Zamawiającego, stwierdzając, iż spełnione zostały przesłanki, o

których mowa w art. 525 ust. 1-3 Pzp.

Izba umorzyła postępowanie odwoławcze w zakresie zarzutu nr 3 odwołania

dotyczącego naruszenia art. 18 ust. 3 Pzp w zw. z art. 11 ust. 2 uznk z uwagi na wycofanie

go przez Odwołującego.

Izba dopuściła i przeprowadziła dowody z dokumentacji postępowania przekazanej

przez Zamawiającego w tym m.in. z treści referencji złożonych przez Przystępującego,

złożonego przez tego wykonawcę wykazu osób i usług, a także arkuszy ocen zarówno

Odwołującego i Przystępującego.

Izba oddaliła wnioski dowodowe złożone przez Odwołującego z opinii prywatnych

stwierdzając, że opinię prywatną uznać należy jedynie dowód tego, że osoba lub osoby,

które ją podpisały wyraziły zawarty w niej pogląd, nie korzystają one natomiast z

domniemania zgodności z prawdą zawartych w niej twierdzeń (por. wyrok KIO z dnia 22

maja 2020 r., sygn. akt KIO 342/20). Co ważne, taki dowód nie może mieć charakteru

przesądzającego o zasadności zarzutu odwołania. W kontekście opinii prywatnych nie

można bowiem wykluczyć swoistego „dopasowywania” opinii prywatnej do potrzeb

zlecającego czy motywu finansowego (skoro zlecono komuś wykonanie za wynagrodzeniem

stosownego opracowania w określonym celu, zleceniobiorca może czuć się w obowiązku

wykonać zamówienie, by cel ten został osiągnięty).

Na podstawie ww. dokumentów Izba ustaliła, że stan faktyczny spraw nie jest sporny

i został przedstawiony przez strony adekwatnie do treści przywołanych powyżej

dokumentów.

Izba ustaliła:

Przystępujący w trakcie postępowania przetargowego złożył Zamawiającemu

następujące referencje:

Referencja - Grupa Żywiec S.A.: „Potwierdzamy dotychczasową współpracę z firmą

Emplocity S.A. Zrealizowana usługa polegała na zaprojektowaniu i wdrożeniu aplikacji, czyli

chatbota do komunikacji wewnętrznej. Na nasze potrzeby przygotowana została aplikacja

desktopowa dla Windows oraz mobilna dla Android oraz panel administracyjny do

zarządzania bazą wiedzy i analizą statystyk. Prace wdrożeniowe rozpoczęły się w grudniu

2018, a wdrożenie chatbota miało miejsce w marcu 2019 roku”.

Ponadto Izba ustaliła, że Przystępujący w piśmie z dnia 27 października 2021r. złożył

oświadczenie o współpracy: „oświadcza, że w marcu 2019 wykonało usługę polegającą na

zaprojektowaniu i wyprodukowaniu chatbota wykorzystującego NLP i wspierającego

komunikację wewnętrzną dla Grupy Żywiec S.A. Na potrzeby klienta przygotowana została

aplikacja desktopowa dla Windows oraz mobilna dla Android oraz panel administracyjny do

zarządzania bazą wiedzy i analizą statystyk. Wartość realizowanej przez Emplocity S.A.

usługi wynosiła 102 367,98zł brutto.”. Do powyższego pisma został dołączony protokół

odbioru, w którym w punkcie 1 wskazano, że „etap Aplikacji „Chatbot” został zrealizowany w

ustalonym przez Strony terminie. W punkcie 2. Zlecający oświadczył, że: „w/w Etap został

wykonany przez Wykonawcę zgodnie z zaleceniami Zlecającego”. W punkcie 3. Zlecający

oświadczył, że „akceptuje sposób wykonania oraz funkcjonowania przedstawionego przez

Wykonawcę Etapu prac”. W przedłożonym natomiast poświadczeniu z dnia 8 marca 2021r.

Grupa Żywiec S.A. potwierdziła, że spółka Emplocity sp. z o.o. z siedzibą w Warszawie

dokonała wdrożenia aplikacji Chatbot.

Referencja - JTI Polska sp. z o.o.: „Od lipca 2021 roku, dzięki współpracy z Emplocity

S.A., korzystamy z innowacyjnego narzędzia, zwanego Chatbofem, dzięki któremu osoby

zainteresowane Japan Tobacco International mogą uzyskać sprawdzone i rzetelne

informacje dotyczące naszej firmy, z dowolnego miejsca oraz urządzenia, w dowolnym

czasie, zarówno w języku polskim, jak i angielskim.

Dzięki implementacji ChatBota możemy być dostępni dla kandydatów 24 godziny na

dobę, co udowadnia, że jesteśmy przyjazną, otwartą i skupioną na ludziach organizacją.

Niniejszym rekomendujemy Emplocity S.A., jako godnego polecenia partnera

biznesowego.”.

Referencja - ING Bank Śląski S.A.: „ING Bank Śląski S.A. potwierdza, iż

współpracuje z Firmą Emplocity S.A. z siedzibą w Warszawie (00-695) przy ulicy

Nowogrodzkiej 51. Z usług firmy Emplocity S.A. dotyczących projektowania i wdrażania

chatbotów korzystamy od grudnia 2019 roku. Usługa chatbota w naszym banku wspiera

procesy rekrutacyjne prowadzone głównie na stanowiska dedykowane młodym talentom i

stanowiska związane z obsługą klienta. Współpraca przebiega w sposób prawidłowy, w

związku z tym polecamy firmę Emplocity S.A. jako sprawdzonego dostawcę chatbotów.

Niniejszy list referencyjny obowiązuje przez okres trzech miesięcy od daty wystawienia. Po

upływie tego terminu powinien być zaktualizowany.”

Referencja - MetLife TUnŻiR S.A.: „Pragniemy poinformować, że od sierpnia 2020

roku współpracujemy z firmą Emplocity S.A. W ramach współpracy został dla nas

zaprojektowany chatbot rekrutacyjny zamieszczony na naszej stronie www, a profile

dopasowanych kandydatów przekazywane są do naszego systemu rekrutacyjnego.

Dodatkowo wykonawca zapewnia ciągłość działania przygotowanego oprogramowania,

gwarantując spełnienie założonych funkcjonalności aplikacji chatbota wraz z utrzymaniem

pracy serwera, na którym hostowana jest aplikacja internetowa. Polecamy firmę Emplocity

S.A. jako rzetelnego i sprawdzonego partnera biznesowego”.

Referencja - PKO Bank Polski S.A.: „(...) Firma zaprojektowała i

wyprodukowała chatbota NLP dla PKO BP S.A. Jest to chatbot rekrutacyjny tzw. Emplobot,

który prowadzi w sposób inteligentny rozmowę rekrutacyjną, tworzy unikatowy profil

kandydata i dopasowuje go do jednej z wielu otwartych rekrutacji. (.) Dotychczasowa

współpraca przebiega zadowalająco pod względem jakości świadczonych usług i rzetelnego

podejścia pracowników Firmy do wykonywania przedmiotu umowy”.

Referencja - Transcom Worldwide Poland sp. z o.o.: „Informujemy, iż w listopadzie

2019r. firma Emplocity S.A. zaprojektowała i wyprodukowała chatbota rekrutacyjnego NLP

dla naszej organizacji. W ramach zawartej umowy usługa wdrożenia obejmowała

implementację aplikacji na naszej stronie www oraz pozostałych kanałach komunikacyjnych

tj.: Facebook Ads, postach w social mediach, ogłoszeniach o pracę. Chatbot wykorzystując

machine learning oraz przetwarzanie języka naturalnego, prowadził wstępną rozmowę

rekrutacyjną z potencjalnymi kandydatami oraz analizował przesłane aplikacje.

Rekomendujemy Emplocity S.A. jako rzetelnego i godnego polecenia partnera

biznesowego.”.

Uwzględniając powyższe ustalenia Izba zważyła:

Na wstępie wskazać należy, że zgodnie z § 9 ust. 1 pkt 2 rozporządzenia Ministra

Rozwoju, Pracy i Technologii z dnia 23 grudnia 2020 r. w sprawie podmiotowych środków

dowodowych oraz innych dokumentów lub oświadczeń, jakich może żądać zamawiający od

wykonawcy (Dz.U. z 2020 r. poz. 2415), Zamawiający w celu potwierdzenia spełniania przez

wykonawcę warunków udziału w postępowaniu lub kryteriów selekcji dotyczących zdolności

technicznej lub zawodowej, może, w zależności od charakteru, znaczenia, przeznaczenia lub

zakresu robót budowlanych, dostaw lub usług, żądać wykazu dostaw lub usług wykonanych,

a w przypadku świadczeń powtarzających się lub ciągłych również wykonywanych, w okresie

ostatnich 3 lat, a jeżeli okres prowadzenia działalności jest krótszy - w tym okresie, wraz z

podaniem ich wartości, przedmiotu, dat wykonania i podmiotów, na rzecz których dostawy

lub usługi zostały wykonane lub są wykonywane, oraz załączeniem dowodów określających,

czy te dostawy lub usługi zostały wykonane lub są wykonywane należycie, przy czym

dowodami, o których mowa, są referencje bądź inne dokumenty sporządzone przez podmiot,

na rzecz którego dostawy lub usługi zostały wykonane, a w przypadku świadczeń

powtarzających się lub ciągłych są wykonywane, a jeżeli wykonawca z przyczyn

niezależnych od niego nie jest w stanie uzyskać tych dokumentów - oświadczenie

wykonawcy; w przypadku świadczeń powtarzających się lub ciągłych nadal wykonywanych

referencje bądź inne dokumenty potwierdzające ich należyte wykonywanie powinny być

wystawione w okresie ostatnich 3 miesięcy.

Przechodząc do merytorycznego rozpoznania zarzutów odwołania dotyczących

niewykazania przez Przystępującego spełnienia warunków udziału w postępowaniu w

zakresie wymaganego doświadczenia, zauważyć należy, że sprowadzały się one do

zakwestionowania jedynie treści referencji. Odwołujący wskazywał na fakt, że w treści wyżej

przytoczonych referencji brak jest wskazania, że usługi bądź dostawy zostały zrealizowane w

sposób „należyty”, a ponadto wskazywał, że ich treść nie wskazuje na zakres prac jaki został

zrealizowany przez Przystępującego.

Podkreślić więc po pierwsze należy, że referencje nie są wystawiane na potrzeby

konkretnego postępowania, ale mają charakter ogólny, nie można zatem wymagać i

egzekwować od wykonawcy, aby z ich treści wynikało spełnienie konkretnego,

zindywidualizowanego warunku. Dokument referencji nie musi też wprost zawierać

stwierdzenia, że określona dostawa lub usługa została wykonana należycie, bowiem istotne

jest, aby z treści dokumentu wynikała prawidłowość wykonania dostawy lub usług. Zauważyć

należy, że przez należyte wykonanie zamówienia należy rozumieć zgodnie z art. 355 § 1

kodeksu cywilnego staranność ogólnie wymaganą w stosunkach danego rodzaju, przy czym

ocena należytej staranności powinna uwzględniać całokształt zachowań dłużnika, a nie tylko

prawidłowe techniczne wykonanie czynności. Dokument referencyjny musi posiadać treść,

niezależnie czy w postaci stwierdzenia wprost czy też opisowy, ale pozwalający na

wyciągnięcie wniosku wynikającego z przepisu § 9 ust. 1 pkt 2 ww. rozporządzenia o

należytym wykonaniu lub wykonywaniu dostawy lub usługi.

W ocenie Izby analiza przedłożonych na wezwanie Zamawiającego referencji, a także

protokołu odbioru i poświadczenia pochodzącego od spółki Grupa Żywiec S.A. pozwala

uznać, że usługi w sposób szczegółowy opisane przez Przystępującego w złożonym wykazie

usług zostały wykonane należycie, pomimo braku takiego właśnie określenia. Nawet bowiem

jeśli w protokołach odbioru czy referencjach nie zamieszczono sformułowania „należyte

wykonanie”, to należało ocenić, czy przedstawione tam informacje zawierają taką ocenę

wyrażoną przy użyciu innych sformułowań. Jeśli odbiorca dostawy oświadcza, że odebrał ją

bez zastrzeżeń, to znaczy to tyle, że nie było zastrzeżeń co do jakości jej wykonania, czyli że

wykonano ją należycie. W ocenie Izby natomiast, z przedłożonych przez Przystępującego

dokumentów powyższe okoliczności w sposób nie budzący żadnych wątpliwości wynikają.

Kolejno wskazać należy, że z treści referencji nie musi wynikać szczegółowy opis

zakresu zamówienia. Zdaniem Izby Odwołujący błędnie i w sposób nieuzasadniony wymaga,

aby treść referencji zawiera informacje, żądane przez Zamawiającego na potwierdzenie

spełnienia warunku udziału w postępowaniu, albowiem potwierdzeniem spełnienia warunku

jest oświadczenie wykonawcy w formie wykazu, a referencje mają za zadanie potwierdzać

jedynie prawidłowość wykonywanej usługi referencyjnej. Powyższe potwierdzają wprost

przepisy Pzp i ww. rozporządzenia. Nie może zatem ulegać najmniejszej wątpliwości, że

dokumentem potwierdzającym zakres wykonanych usług jest wykaz usług wraz z podaniem

ich wartości, przedmiotu, dat wykonania i podmiotów, na rzecz których dostawy lub usługi

zostały wykonane.

Również za bezzasadny Izba uznała zarzut dotyczący wystawienia referencji przez

drugiego członka Konsorcjum. Podkreślić należy, że jak wskazał na rozprawie

Przystępujący, referencje zostały wystawione przez spółkę Ermlab za zrealizowanie usługi,

która wykonana została przed zawarciem umowy Konsorcjum. Już to potwierdza więc, że w

postępowaniu nie ma miejsca wystawienie referencji „samej sobie”.

Tym samym zarzuty Odwołującego w tym zakresie, należało uznać za bezzasadne.

Odnosząc się do zarzut dotyczącego niespełnienia przez Przystępującego warunku

dotyczącego posiadania przez personel odpowiednich kwalifikacji, wskazać należy, że

zgodnie z rozdziałem § 7 ust. 1 pkt 4 ppkt B.6 SWZ w zakresie kwalifikacji personelu

Zamawiający wskazał, że uzna warunek za spełniony jeżeli Wykonawca wykaże, że

dysponuje lub będzie dysponował osobami które będą uczestniczyć w realizacji zamówienia,

spełniającymi poniższe wymagania: Anotator (4 osoby) - posiada doświadczenie w realizacji

co najmniej 2 (dwóch) usług polegających na anotacji danych (przygotowaniu danych tak,

aby mogły one stanowić dane treningowe dla algorytmów uczenia maszynowego), które to

usługi zostały ukończone w ciągu 3 lat przed terminem składania ofert (lub jeżeli okres

prowadzenia działalności jest krótszy, w tym okresie).

Izba ustaliła, że z złożonym przez Przystępującego wykazie wskazał on na

stanowisko anotatora konkretne osoby, podając przy ich nazwiskach następujące

doświadczenie: przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i

predykcji sytuacji kryzysowych w serwisach społecznościowych, oraz przygotowanie zbiorów

danych na potrzeby treningu algorytmów segmentacji użytkowników Internetu.

W opinii Izby doświadczenie to w pełni koresponduje z tak postawionym przez

Zamawiającego warunkiem udziału w postępowaniu. Izba stwierdziła, że fakt, że p. Stefaniak

jest programistą w żaden sposób nie wyklucza on możliwości wykonywania pracy anotatora.

W SWZ taki zakaz się nie znalazł. Co więcej Zamawiający nie postawił żadnych innych

oczekiwań dotyczących wykształcenia tych osób, a więc jeżeli Przystępujący miał

wątpliwości co do sformułowania brzmienia warunku, np. poprzez konieczność poszerzenia

wymagań w tym zakresie winien był skorzystać w odpowiednim czasie z przysługujących w

postępowaniu przetargowym środków ochrony prawnej. Zamawiający również - co istotne -

samodzielnie zdefiniował co należy rozumieć pod pojęciem anotacji, więc wszelkie wywody

Odwołującego w tym zakresie, jak też formułowanie własnej definicji tego pojęcia są

nieuprawnione. Podkreślić bowiem należy, że obowiązkiem Zamawiającego jest dokonanie

oceny ofert przez pryzmat szczegółowych postanowień SWZ.

W konsekwencji powyższych rozważań Izba oddaliła ww. zarzut.

Izba za niezasadne uznała też zarzuty kwestionujące prawidłowość oceny jego oferty

oraz oferty złożonej przez Przystępującego.

Izba ustaliła, że Zamawiający w § 16 pkt 3 SWZ „Kryterium 3 „Koncepcja (diagram w

oparciu o zadanie z personą i przykładami kwalifikacji” (35 pkt)” Zamawiający ustalił, że

zadaniem Wykonawcy jest opracowanie fragmentu koncepcji funkcjonowania czatbota w

ramach modułu Wirtualnego Asystenta Doradztwa Zawodowego. Dla wybranego spośród 3

przytoczonych w załączniku nr 9 do SWZ przykładów opisów osób (person) korzystających z

czatbota (jej potrzeb oraz oczekiwań) oraz przy wykorzystaniu źródła danych, na podstawie

których czatbot powinien udzielać odpowiedzi na pytania tej osoby (kwalifikacje z ZRK oraz

informacje z portalu ), należy przygotować koncepcję, która będzie

zawierać:

- proponowany schemat rozmowy (tzw. flow) osoby z czatbotem (dialog

zawierający 30 par pytań i odpowiedzi) obejmujących:

- pytania zadawane przez osobę korzystającą z czatbota; o pytania, które zada

czatbot (pytania otwarte lub opcje wyboru) pozwalające doprecyzować zakres udzielanej

odpowiedzi; o propozycję treści odpowiedzi udzielanych przez czatbota (tekst, odesłania do

materiałów, propozycje zapoznania się z treściami z ZRK — np. konkretny fragment opisu

danej kwalifikacji, odesłania do zewnętrznych źródeł wiedzy, narzędzi lub aplikacji); o

propozycję dodatkowych tematów rozmowy, które może zaproponować czatbot; opis

funkcjonalności czatbota, które zostały wykorzystane w rozmowie (np. pytania zamknięte,

pozwalające doprecyzować zakres udzielanej odpowiedzi, odesłania do określonych źródeł

informacji) z uzasadnieniem ich zastosowania oraz krótkim wskazaniem, w jaki sposób mogą

zostać wdrożone (np. integracja z innymi aplikacjami, zastosowanie określonej technologii,

opis powinien zawierać do 5 funkcjonalności kluczowych z perspektywy opracowywanego

schematu rozmowy i nie powinien być dłuższy niż 5400 znaków (3 strony znormalizowanego

maszynopisu).

Jednocześnie Zamawiający ustalił, że każdy z członków Komisji Przetargowej dokona

indywidualnie oceny w następujący o sposób:

ZRK Zintegrowany Rejestr Kwalifikacji

- schemat rozmowy z czatbotem — 15 punktów, w tym:

- adekwatność informacji udzielanych przez czatbota (= na ile odpowiadają na

potrzeby osoby korzystającej z czatbota) — 0-5 punktów;

- wskazanie kluczowych dla danej osoby informacji wyjaśniających prezentowane

przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak rozumieć dane treści)

— 0-5 punktów;

- zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie zakresu

informacji udzielanych osobie — 0-5 punktów .

punkty w zakresie 0-5 - przyznawane wg. skali szkolnej

opis funkcjonalności czatbota — 15 punktów, w tym:

- 3 punkty za każdą funkcjonalność, która została wskazana, o ile uzasadniono

jej zastosowanie w odniesieniu do potrzeb osoby korzystającej z czatbota (2 punkty) oraz

wskazano, w jaki sposób może zostać wdrożona (1 punkt). Ocenie podlegać będzie 5

pierwszych opisanych funkcjonalności. Jeżeli w ofercie znajdzie się więcej niż 5

funkcjonalności, pozostałe nie będą brane pod uwagę przy ocenie oferty.

- poprawność stosowania terminologii ZSK— 5 punktów (zasada odejmowania

punktów za niepoprawnie używaną terminologię):

- -1 punkt za każdy błąd w używaniu terminologii ZSK w dialogach, zawężając

ocenę do wypowiedzi udzielanych przez czatbot.

Izba ustaliła ponadto, że w karcie oceny sporządzonej przez p. Marcina

Będkowskiego

Przyznano w kryterium adekwatność - 0, informacje wyjaśniające - 5, adekwatność

sposobów na doprecyzowanie - 5.

Oceniający za nieadekwatne rekomendacje uznał w zachowaniu czatbota:

a) polecenie kwalifikacji archiwalnej Świadczenie usług pielęgnacyjno-opiekuńczych

osobie chorej i samodzielnej (od 2019) - kwalifikacji tej nie można zdobyć,

b) polecenie kwalifikacji Pielęgniarstwo ze szkolnictwa wyższego II stopnia osobie,

która nie posiada dyplomu I stopnia (opisany użytkownik czatbota, absolwent szkoły

policealnej, nie będzie w stanie jej zdobyć),

c) czatbot udziela informacji o kwalifikacji II stopnia i podaje nieadekwatne informacje

o wymaganiach dla tej kwalifikacji: znajomość języka obcego na poziomie B1 i świadectwo

ukończenia szkoły średniej,

d) udzielenie informacji o zarobkach na podstawie Ekonomicznych Losów

Absolwentów dla kwalifikacji branżowej Świadczenie usług pielęgnacyjno-opiekuńczych

osobie chorej i samodzielnej (od 2019) - ELA obejmuje informacje dotyczące kwalifikacji ze

szkolnictwa wyższego, ale nie branżowego,

e) czatbot błędnie uznaje, że M. posiada kwalifikację Świadczenie usług

pielęgnacyjno-opiekuńczych osobie starszej. Zgodnie z opisem persony posiada on

kwalifikację Opiekun w domu pomocy społecznej.

Za każdą nieadekwatność odjęto 1 punkt, łącznie 5 (...)

W dialogu pojawia się błąd „zrealizować kwalifikację” - kwalifikację można zdobyć: -1

punkt. Czatbot wymienia jako kwalifikację „świadectwo ukończenia szkoły średniej”, podczas

gdy w ZSK funkcjonuje kwalifikacja o nazwie „Świadectwo dojrzałości“: -1 punkt.

Izba ponadto ustaliła, że w karcie oceny sporządzonej przez p. M.K. wskazano w

odniesieniu do schematu rozmowy z chatbotem, iż jest on częściowo adekwatny do opisu

persony. Oceniająca przyznała w podkryterium adekwatność informacji - 0 pkt wskazując:

1. Niezgodnie z opisem persony, rozmówca chatbota błędnie wskazuje

posiadaną kwalifikację - wskazuje Świadczenie usług opiekuńczo - wspierających osobie

starszej zamiast Opiekun w domu społecznym. Błąd ten determinuje dalszy przebieg

wywiadu - osoba nie uzyskuje informacji adekwatnych do swoich potrzeb.

2. Błędnie wskazana kwalifikacja: Świadczenie usług pielęgnacyjno -

opiekuńczych osobie chorej i samodzielnej jest kwalifikacją archiwalną

3. Błędnie wskazana kwalifikacja: Pielęgniarstwo studia II stopnia - chatbot nie

wskazuje, że wymagane są studia I stopnia poprzedzające studia II stopnia

4. Błędnie wskazana kwalifikacja: Ratownik medyczny - szkolnictwo zawodowe -

nieadekwatnie do potrzeb, rozmówca szuka pracy, jest absolwentem szkoły policealnej

Kluczowe informacje wyjaśniające - 5 pkt

Sposoby doprecyzowania informacji - 5 pkt

(.) Zrealizować kwalifikację - błędnie użyto sformułowanie, świadectwo szkoły

średniej zamiast świadectwo dojrzałości - błędnie użyto sformułowanie.

W karcie oceny sporządzonej przez p. J.R.-W. wskazano: „Adekwatność informacji -

czatbot proponuje rozmówcy: 1) kwalifikację ze szkolnictwa zawodowego - archiwalną, a

więc taką, której już nie można pozyskać, opis jest dostępny na stronie ZRK, czatbot nie

reflektuje się, że ta informacja jest nieadekwatna i podaje dalsze informacje, 2) czatbot

proponuje studia jednolite (5-letnie), jako przykład konkretnej realizacji studiów wskazuje

jednak studia II stopnia (2-letnie), jako wymaganie do podjęcia wskazanych studiów podaje

świadectwo ukończenia szkoły średniej - co nie jest precyzyjne, ponieważ są różne

świadectwa, zapewne chodziło o świadectwo dojrzałości oraz certyfikat z języka obcego -

nie wiadomo, na jakiej podstawie, opis kwalifikacji nie wprowadza takiej informacji - oba

wymagania są błędne w kontekście studiów II stopnia, które podejmuje się po studiach I

stopnia, a więc wymagają dyplomu ukończenia studiów I stopnia, 3) czatbot wskazuje

kwalifikację ze szkolnictwa zawodowego, którą można uzyskać po ukończeniu 2-letniej

szkoły policealnej oraz po uzyskaniu kwalifikacji poprzedzającej - jest to nieadekwatna

informacja dla rozmówcy, który już ukończył edukację (również policealną) i szuka pracy:

0,0”. Ponadto oceniająca wskazała: „czatbot pyta: „którą kwalifikację zrealizowałeś?” - nie

można „zrealizować” kwalifikacji - można ją pozyskać, posiadać -1,0 czatbot wymienia

“świadectwo ukończenia szkoły średniej” w kontekście podjęcia studiów II stopnia - pojęcie

takiego świadectwa jest zbyt szerokie, błąd terminologiczny polega na tym, że takiej

kwalifikacji nie ma, w kontekście studiów powinien posługiwać się terminem świadectwo

dojrzałości -1,0”.

Izba uznała po pierwsze, że Odwołujący w żaden sposób nie wykazał, że koncepcja

funkcjonowania czatbota opracowana przez Przystępującego jest w całkowitym oderwaniu

od Zintegrowanego Rejestru Kwalifikacji. Fakt, że według Odwołującego, Przystępujący nie

posiada odpowiednich kwalifikacji, kompetencji i doświadczenia, aby przygotować koncepcję

funkcjonowania czatbotu w sposób, który umożliwiałby jej ocenienie na zasadzie

maksymalną liczbą punktów nie może uzasadniać postawionego zarzutu. Izba podzieliła

stanowisko Zamawiającego, że koncepcja czatbota przygotowana przez Emplocity i

przedstawiona w dialogu korzysta z terminologii i zasobów danych w ZRK, zakłada także

integrację z portalem ZSK/ZRK, jednakże z uwagi na objęcie tajemnicą przedsiębiorstwa

całości koncepcji, niemożliwe jest na tym etapie odniesienie się do jej treści i założeń.

W odniesieniu do oceny oferty Odwołującego dla „kryterium adekwatność" to jak

wynika z SWZ oceniana była w tym kryterium adekwatność informacji udzielanych przez

czatbota, tzn. na ile odpowiadają na potrzeby osoby korzystającej z czatbota. W ocenie Izby

skoro np. jak wynika z karty oceny czatbot w sposób nieprawidłowy udzielał informacji o

kwalifikacji II stopnia i podawał nieadekwatne informacje o wymaganiach dla tej kwalifikacji:

znajomość języka obcego na poziomie B1 i świadectwo ukończenia szkoły średniej, to

istniały podstawy do uznania, że informacje te są dla użytkownika nieadekwatne. W opinii

Izby wszelkie przytoczone w kartach ocen zarzuty co do nieadekwatności przygotowanej

koncepcji uzasadniały brak przyznania. Członkowie komisji w sposób wyraźny wskazali w

kartach ocen, że w ich ocenie uwzględnione zostały stwierdzone przez nich

nieprawidłowości, mankamenty w przygotowaniu koncepcji.

Izba stwierdziła ponadto, że fakt, iż w kartach ocen sporządzonych przez różne osoby

znalazły się podobne argumenty w zakresie nieprawidłowości koncepcji, świadczy jedynie o

tym, że każda z osób oceniających dostrzegła te same mankamenty przygotowanej

koncepcji, co jednoznacznie potwierdza, że nieprawidłowości te były od razu zauważalne i

istotne. Nie świadczyły natomiast o niesamodzielnej ocenie.

Ponadto Izba stwierdziła, że skoro w kryterium „poprawność stosowania terminologii

ZSK” oceniane było jak wynika z SWZ wskazanie kluczowych dla danej osoby informacji

wyjaśniających prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć,

wskazówki jak rozumieć dane treści), to w ocenie Izby posługiwanie się przez Odwołującego

pojęciami jak np. „zrealizowanie kwalifikacji” było nieprawidłowe, z uwagi na fakt, że

powyższe sformułowanie nie występuje w takiej konfiguracji w języku potocznym. W związku

z czym nie można uznać, że Odwołujący w sposób prawidłowy zastosował określoną

terminologię, a wszelkie odstępstwa od wymagań Zamawiającego musiały być oceniane

proporcjonalnie do ich znaczenia i wagi przewidzianej w SWZ.

Izba nie stwierdziła zatem nieprawidłowej oceny przez Komisję przetargową oferty

Przystępującego i Odwołującego stwierdzając, że przyznane punkty uwzględniały popełnione

błędy, a więc nie doszło do naruszenia przepisu art. 239 ust. 1 Pzp.

Mając powyższe na względzie orzeczono jak w sentencji.

O kosztach postępowania odwoławczego Izba orzekła na podstawie art. 557 i 575

Pzp.

Przewodniczący:............................................................

27