Naszymi gośćmi są lubiani aktorzy, zasłużeni artyści, znani politycy, najlepsi biznesmeni i Ci bardziej anonimowi lecz o duszach wzniosłych i gustach wybrednych.
Edukacja
1. Cele projektu
Głównym celem projektu było podniesienie poziomu wyszkolenia(w zakresie wiedzy i umiejętności) u 48 osób powyżej 18 roku życia zamieszkujących tereny woj. łódzkiego, które deklarują dobrowolną chęć uczestnictwa poza godzinami pracy w systemie kompleksowych szkoleń dla profesjonalnej obsługi klienta gastronomii, celem zdobycia nowych kwalifikacji zawodowych lub doskonalenia już posiadanych w okresie od 01.08.2009r.do 31.10.2010 r. Cele szczegółowe uczestników projektu to wzbudzenie silniejszej identyfikacji z zawodem kelnera/kelnerki, likwidacja barier psychologicznych (komunikacyjnych związanych ze stresem zawodowym budowaniem własnej ścieżki kariery zawodowej itp.), wprowadzenie na rynek oferty profesjonalnych szkoleń dla kadry kelnerskiej.
2. Przedmiot ewaluacji
Ewaluacja ex-post to badanie podsumowujące wartość ekonomiczno-społeczną, wykonane po zakończeniu zaplanowanych działań projektu, oceniające jego rzeczywistą jakość oraz wartość w odniesieniu do potrzeb i problemów, które miał ten projekt rozwiązać. Ewaluacje ex-post pozwala odpowiedzieć na pytania o stopień osiągnięcia celów interwencji, jej sukcesy i ograniczenia, wpływ czynników zewnętrznych, odpowiedniość użytych instrumentów, skuteczność po zakończeniu procesu wdrażania, role poszczególnych aktorów, rzeczywistą użyteczność - efekty oddziaływania pomocy (zarówno te zakładane, jak i te nieprzewidziane), a także trwałość tychże efektów.
Z uwagi na to, że rdzeniem ewaluacji ex-post jest zbadanie relacji przyczynowo- skutkowej (tzn. czy dane pieniądze miały wpływ na zidentyfikowane szanse, problemy, grupy docelowe) i, w idealnej sytuacji, określenie efektu netto, w badaniach preferuje się metody quasi-eksperymentalne. Jednak w skomplikowanej rzeczywistości interwencji społeczno-gospodarczych (mnogość celów, interesów, działań, zróżnicowanie i skala grup docelowych) taki plan badawczy może być stosowany punktowo i bardziej sprawdza się podejście realistyczne. Wreszcie, odnosząc się do kwestii wykorzystania badań ex-post, należy stwierdzić, że pomagają one formować kierunki myślenia o interwencjach publicznych, ich logice i zasadności, a w mniejszym stopniu wpływają na bieżące, operacyjne działania. Stawiają jednak kluczowe pytanie o sens podjętych interwencji, ich realną, długookresową, a nie doraźną, użyteczność i odpowiadają na nie. Wnioski z ewaluacji ex-post mają charakter kumulatywny (dowody z kilku badań mogą sprawić zmianę podejścia w danej dziedzinie życia społecznego) działają z pewnym opóźnieniem czasowym. Dają więc postawy myślenia strategicznego - pozwalają gromadzić dowody na temat słuszności założeń polityk, myślenia o rozwoju regionalnym, zasobach ludzkich i gospodarce w perspektywie wieloletniej.
Ewaluacja ex-post ma charakter podsumowujący (strategiczny), a jej główne
funkcje to:
o wzmacnianie odpowiedzialności - przede wszystkim zbadanie relacji
przyczynowo- skutkowej między podjętą interwencją a efektami i procesami
wywołanymi w danym układzie, a w rezultacie pokazanie sukcesu lub porażki
interwencji;
o wsparcie procesów uczenia się - szczególnie weryfikowanie teorii, założeń
i założeń leżących u podstaw interwencji.
Założenia projektu:
Przedmiotem ewaluacji są twarde i miękkie rezultaty założone w projekcie.
Przez twarde rezultaty
rozumie się definiowalne, policzalne rezultaty, które osiągane są dzięki
uczestnictwu w projekcie. W projekcie zostały założone następujące twarde
rezultaty:
-48 osób objętych wsparciem w ramach projektu(źródło weryfikacji dzienniki
zajęć, dokumentacja rekrutacyjna)
-48 osób podniesie twarde kompetencje zawodowe (źródło weryfikacji :wyniki
egzaminów wewnętrznych, dzienniki praktyk)
-zapewnienie wsparcia towarzyszącego dla 62,5% uczestników, które stanowić
będą kobiety(źródło weryfikacji : dokumentacja związana z udzieleniem
wsparcia)
-wzrost kompetencji zawodowych w zakresie kompetencji językowych o 1 poziom
w stosunku do początkowych (źródło weryfikacji: sprawdziany-1 w miesiącu,
testy początkowe i na koniec zajęć w każdym bloku)
Pomiar twardych rezultatów przeprowadzono poprzez: podpisane listy obecności
uczestników<
projektu, podpisane umowy uczestnictwa w szkoleniu, potwierdzenie odbioru
certyfikatów i materiałów szkoleniowych.
Wykonano w zakresie rezultatów twardych:
Zrekrutowano do projektu łącznie 57 osób (w tym 30 kobiet) z czego 48 osób
(w tym 27 kobiet co stanowi 56% uczestniczących w projekcie) zakończyło
udział w projekcie zgodnie z zaplanowaną dla nich ścieżką wsparcia i
podeszło do egzaminu końcowego uzyskując certyfikat.
Pozytywne wyniki egzaminu wskazują na podniesienie kompetencji zawodowych w
zakresie pracy w gastronomii na stanowisku kelnera i kelnerki. Na podstawie
karty obserwacji egzaminu końcowego możemy zauważyć, że wszyscy
uczestniczący w egzaminie doskonale wykonali powierzone zadania praktyczne a
wyniki przeprowadzonych testów wskazują na dobre opanowanie zagadnień
teoretycznych pozwalających na wykonywanie zawodu kelnera/kelnerki w
zakładach gastronomicznych.
Na podstawie wyników sprawdzianów i testów kończących można zauważyć, że w zakresie kompetencji językowych osiągnięto zakładane rezultaty podniesienia o 1 poziom umiejętności językowych. Dobór grup został dokonany na podstawie dotychczasowej znajomości języka angielskiego. Podział dokonany był na poziom podstawowy i zaawansowany. Osoby na poziomie podstawowym zaczynały edukację w tym zakresie praktycznie od zera. Wszyscy z tej grupy podczas egzaminu końcowego podjęli próbę prostej konwersacji dotyczącej zamawianych dań. Dla osób z poziomu zaawansowanego zadanie było trudniejsze ponieważ oprócz zamówienia języku angielskim udzielali obszernych wyjaśnień nt. przygotowanych potraw oraz odpowiadali na pytania dotyczące informacji jak dotrzeć do konkretnego miejsca w swojej miejscowości zamieszkania.
Zapewniono wsparcie towarzyszące w postaci opieki nad dziećmi w czasie prowadzonych zajęć szkoleniowych w wydzielonym, przygotowanym pomieszczeniu odpowiednio wyposażonym do potrzeb prowadzenia zajęć.
Przez miękkie rezultaty rozumie się postawy, umiejętności i inne cechy,
których istnienie może być
stwierdzone jedynie w drodze specyficznych badań czy obserwacji uczestników
projektu. Rezultaty
miękkie założone w projekcie:
- wzbudzenie identyfikacji z zawodem kelnera/kelnerki u min.80% uczestników
- podniesienie kompetencji w obszarze komunikacji o 1 poziom u 35%
uczestników i o 2 u 65%
- podniesienie umiejętności radzenia sobie ze stresem o 1 poziom u 45%
uczestników i o 2 u 55%
- podniesienie umiejętności budowania własnej ścieżki kariery zawodowej
kelnera/kelnerki u 80% uczestników o min.2 poziomy i u 20 % o 1 .
Miękkie rezultaty zbadane zostały w oparciu o test psychometryczny, ankiety
wywiady i obserwacje do arkuszy postępów, symulacje sytuacji.
Badania ankietowe prowadzono w następujących obszarach tematycznych:
Ankieta nr 1 : Przed rozpoczęciem zajęć
Przykładowe pytania ankietowe:
- w skali od 1 do 6 proszę określić jak ocenia Pan/Pani dostępność
informacji o projekcie
- W jaki sposób uzyskał Pan/Pani informacje o projekcie
- Czy wie Pan/Pani jaki jest zakres projektu i jakie są jego wymogi
Analiza tych ankiet pozwoliła na dostosowanie informowania o projekcie w
trakcie prowadzenia dalszej rekrutacji
Ankieta nr 2 : Ocena wykładowcy bloku zawodowego
- Dlaczego uczestniczy Pan/Pani w zajęciach
- Proszę ocenić sposób realizacji zajęć przez wykładowcę stosując skalę ocen
Ankieta nr 3 : Ewaluacja pracy lektora
Przykładowe pytania ankietowe:
- Czy zależy Ci na tym by znać język angielski
- Czy lektorat języka angielskiego jest ciekawy
- Co sprawia że lektorat jest ciekawy
- Jak oceniasz swoje umiejętności z języka angielskiego
Ankieta nr 4: Ankieta dotycząca programu szkolenia
Przykładowe pytania ankietowe:
- Prosimy określić w jaki sposób ocenia Pan/Pani organizacje poszczególnych
bloków i treść szkolenia
- Czy podczas zajęć otrzymał Pan/Pani materiały szkoleniowe
- Czy zajęcia poszczególnych bloków spełniły Pana/Pani oczekiwania
Ankieta nr 5: Ankieta na zakończenie bloku zawodowego
Przykładowe pytania ankietowe:
- Czy treści bloku były zgodne z przedstawionymi na początku zajęć
założeniami programowymi
- Organizacja bloku była
- Jak ocenia Pan/Pani warunki pracy
Ankieta nr 6 : Ankieta nt. sposobu organizacji zajęć
Przykładowe pytania ankietowe:
- Czy prowadzący zajęcia przestrzegają przedstawionych na początku zajęć
założeń
- Czy wykładowcy poszczególnych bloków dokonują okresowej oceny umiejętności
uczestników
- Który z elementów konstrukcyjnych projektu uważa Pan/Pani za
najciekawszy
Ankieta nr 7: Na zakończenie realizacji projektu
Przykładowe pytania ankietowe:
- Jaka jest Pani/Pana ogólna ocena projektu
- Czy udział w projekcie uważa Pan/Pani za adekwatny do swoich potrzeb
zawodowych
- Czy udział w projekcie pozwolił Pani/Panu na podniesienie samooceny i
wiary w możliwości zmiany swojej sytuacji zawodowej
Osiągnięcie w/w rezultatów było badane przez określenie następujących
wskaźników produktu:
-Liczbę przeprowadzonych godzin szkoleniowych i praktyk (źr.: dzienniki
zajęć i praktyk) - wykonano 195 godzin dla każdej z 4 grup zajęciowych z
czego 90 godzin zajęć przygotowujących do zawodu kelnera/kelnerki, 60 godzin
języka angielskiego w dwóch poziomach podstawowym i zaawansowanym, 25 godzin
w bloku interpersonalnym oraz 20 godzin praktyk.
-Liczbę wydanych zaświadczeń i certyfikatów końcowych (źr.: rejestr
zaświadczeń) - zgodnie z rejestrem certyfikatów wydano 48 certyfikatów
końcowych po pomyślnie zdanym egzaminie.
-Liczbę przeprowadzonych hospitacji w gr. (dokumentacja metod.-arkusze
hospitacji) - dokonano 24 hospitacje sprawdzając poprawność prowadzenia
zajęć, zgodność z założeniami projektu, środki dydaktyczne, materiały i
pomoce naukowe potrzebne do dobrego przeprowadzenia zaplanowanych działań.
Podczas hospitacji pytano o poziom satysfakcji z uczestnictwa w zajęciach
oraz dokonywano obserwacji zachowań uczestników podczas danego bloku
szkoleniowego.
-Liczbę egzaminów i sprawdzianów (źr.: dokumentacja metodyczna) - W każdej
grupie wykonano na bieżąco sprawdziany z kilku bloków tematycznych oraz 4
testy końcowe w zakresie zagadnień dotyczących konkretnych bloków. Na
zakończenie projektu wykonano egzamin końcowy podsumowujący wiedzę i
umiejętności we wszystkich zakresach tematycznych.
-Liczbę spotkań w ramach wsparcia towarzyszącego (dziennik i listy
obecności) Podczas wszystkich zajęć do dyspozycji uczestników była osoba
przygotowana do prowadzenia zajęć z dziećmi uczestników szkolenia.
-Liczbę badań prowadzonych w ramach ewaluacji i monitoringu metodycznego
(źr: dokumentacja z badań i monitoringu, broszura podsumowująca projekt) W
ramach prowadzonych działań ewaluacyjnych wykonano wywiady zewnętrzne
dotyczące pracy kelnera i kelnerki w placówkach gastronomicznych. Badania te
prowadzone były na terenie województwa łódzkiego. Z każdego wywiadu powstała
karta badań ewaluacyjnych. Wykonano ok. 500 wywiadów z mieszkańcami
województwa łódzkiego.
Badania ewaluacyjne realizacji projektu przeprowadzono zgodnie z definicją ewaluacji. Definicja ewaluacji według Rozporządzenia Rady UE nr 1083/2006 brzmi: Ewaluacja jest definiowana jako osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych zinterpretowanych informacjach za pomocą odpowiedniej metodologii.
Za ewaluację przyjmuje się systematyczną i obiektywną ocenę projektu tj. jego założeń, procesu realizacji i rezultatów pod względem stosowności, skuteczności, trwałości, efektywności, a także użyteczności podjętych w jego ramach działań.
3. Przyjęte kryteria ewaluacyjne
Kryterium rzetelności: ewaluację przeprowadzono zgodnie ze standardami profesjonalnymi tj. postawiono pytania badawcze, dobrano metody badawcze, skonstruowano narzędzia badawcze, dobrano próbę badawczą, zebrano wyniki badań.
Kryterium wykonalności: ewaluację przeprowadzono w sposób
precyzyjny.
Kryterium przyzwoitości: ewaluację przeprowadzono w sposób uczciwy.
Kryterium przydatności: ewaluacja dostarczyła informacji o osiągniętych
rezultatach projektu.
4. Wyniki badań
Metody badawcze
W badaniu zastosowano metodę ilościową , testy oraz ankietowanie uczestników. Dla potrzeb niniejszego badania skonstruowano kwestionariusze składające się z pytań zamkniętych i otwartych oraz test psychometryczny.
Próba badawcza:
Przebadano łącznie 48 osób - uczestników projektu
Cechy społeczne badanych:
Zatrudnieni
w tym zatrudnieni w mikroprzedsiębiorstwach 21 osób (w tym 14 kobiet)
w tym zatrudnieni w małych przedsiębiorstwach 11 osób (w tym 5 kobiet)
w tym zatrudnieni w dużych przedsiębiorstwach 10 osób (w tym 2
kobiety)
w tym zatrudnieni w administracji publicznej 6 osób (w tym 2 kobiety)
w tym zatrudnieni w organizacjach pozarządowych 1 osoba (w tym 1
kobieta)
Podział ze względu na wiek:
15-24 lata - 14 osób (w tym 8 kobiet)
55-64 lata - 2 osoby (w tym 1 kobieta)
Wykształcenie:
Podstawowe - 1 osoba
Ponadgimnazjalne - 23 osoby (w tym 11 kobiet)
Pomaturalne - 21 osób (w tym 13 kobiet)
Wyższe - 12 osób (w tym 6 kobiet)
Ocena przygotowania merytorycznego wykładowców
Integralnym elementem realizacji projektu był stały monitoring projektu. W
celu określenia tzw.
rezultatów miękkich prowadzone były systematyczne badania ankietowe. Celem
tych badań było
gromadzenie opinii uczestników szkoleń na temat poziomu merytorycznego
wykładowców.
Systematycznie prowadzona była hospitacja zajęć - ilość 24 szt., w tym także
wywiady z uczestnikami. Beneficjenci w anonimowych ankietach wysoko oceniali
wiedzę i zdolności dydaktyczne prowadzących zajęcia. Znalazło to również
swoje potwierdzenie w badaniu ewaluacyjnym, w którym zdecydowana
większość respondentów określiła, iż przygotowanie merytoryczne wykładowców
było bardzo dobre.
Efekty udziału w szkoleniach
>Udział w szkoleniach realizowanych w ramach projektu miał dla beneficjentów największy wpływ na wzrost ich kompetencji zawodowych - 80% osób biorących udział w badaniu. Wyniki te są zgodne z założeniem projektu, zgodnie z którym, uczestnikami projektu miały być osoby pracujące pragnące podnieść swoje kwalifikacje zawodowe poza godzinami pracy. Wzrost kompetencji zawodowych miał wpływ na zwiększenie wartości na rynku pracy (70%) respondentów oraz wzrost efektywności pracy (80%), jednakże nie miał bezpośredniego wpływu na warunki dotychczas wykonywanej pracy jak: wzrost wynagrodzenia, zmianę miejsca pracy czy awans zawodowy.
Ocena umiejętności nabytych oraz przydatności komponentów szkolenia
Szkolenia w ramach projektu odbywały się w kompleksowych blokach obejmujących część teoretyczną i praktyczną. W pierwszej kolejności przedstawiano zagadnienia teoretyczne a następnie na tej bazie przekazywano wiedzę w sposób praktyczny poprzez zestawy ćwiczeń z każdego obszaru tematycznego. W każdym bloku założono i wykonano 30% zajęć w formie wykładów a 70% w formie zajęć praktycznych.
5. Podsumowanie i wnioski
Przez cały okres trwania projektu prowadzono monitoring, który stanowił źródło bieżącej informacji o realizacji projektu oraz dostarczał wiedzy niezbędnej do prawidłowego oszacowania poziomu osiągniętych wskaźników. Wyniki powyższych badań były wykorzystywane przy organizacji kolejnych szkoleń w projekcie celem zapewnienia jak najwyższego poziomu organizacyjnego i merytorycznego. Ostatecznym beneficjentom projektu zapewniono odpowiednie warunki kształcenia oraz dostęp do wszystkich potrzebnych materiałów dydaktycznych. Wartością dodaną w projekcie stanowiła możliwość indywidualnych rozmów z ekspertami w danej dziedzinie. O trafności i użyteczności podjętych działań w ramach projektu świadczą bardzo dobre opinie uczestników badania ewaluacyjnego w obszarze zgodności tematyki szkoleń z ich potrzebami, jak też wysoka ocena umiejętności nabytych dzięki udziałowi w projekcie. Wzrost kompetencji zawodowych wskazywany przez znaczną liczbę beneficjentów ostatecznych jako efekt udziału w szkoleniach świadczy o tym, że założone cele zostały osiągnięte. Uczestnicy projektu wysoko oceniali zasadność realizacji szkoleń dofinansowanych z Unii Europejskiej określając je jako potrzebne i mające wpływ na zwiększanie kwalifikacji zawodowych kadr w regionie.
Zdecydowana większość beneficjentów deklaruje także uczestnictwo w dalszym dokształcaniu zawodowym jako udział w szkoleniach i warsztatach, w tym największa liczba respondentów - udział w szkoleniach dofinansowanych z UE.
