Polcom AI as a Service
Usługa AIaaS udostępniana w ramach Polcom AI Cloud zapewnia serwowanie otwartych modeli językowych z wykorzystaniem odpowiednio zoptymalizowanej i odseparowanej infrastruktury IT. W praktyce oznacza to możliwość uruchamiania i skalowania modeli AI bez konieczności samodzielnego zarządzania warstwą sprzętową, systemową i operacyjną.
AIaaS dla organizacji wymagających kontroli nad danymi, modelem i kosztami
Usługa jest przeznaczona dla organizacji, które chcą korzystać z możliwości generatywnej AI, ale zależy im na większej kontroli nad danymi, modelem, środowiskiem wykonawczym i kosztami. AIaaS może być wykorzystany m.in. do budowy asystentów AI, chatbotów, narzędzi analizy dokumentów, automatyzacji procesów, klasyfikacji treści oraz integracji modeli językowych z aplikacjami biznesowymi.
Dostęp do usługi realizowany jest zgodnie ze standardem API OpenAI. Ułatwia to integrację z istniejącymi aplikacjami, narzędziami i procesami, a jednocześnie pozwala zachować większą niezależność od publicznych usług oferowanych przez globalnych dostawców.
Prywatność i suwerenność danych w AIaaS
W projektach generatywnej AI szczególnie ważne jest to, co dzieje się z promptami, odpowiedziami modeli, dokumentami firmowymi i danymi wykorzystywanymi w procesie wnioskowania. Polcom AI Cloud został zaprojektowany tak, aby organizacje mogły rozwijać własne kompetencje AI bez niepotrzebnego zwiększania ryzyka związanego z wyciekiem poufnych informacji biznesowych.
Infrastruktura zlokalizowana w Polsce zapewnia izolację danych oraz pozwala realizować procesy obliczeniowe w środowisku odseparowanym od publicznych modeli zewnętrznych dostawców.
Najważniejsze założenia
- Brak przetwarzania promptów poza usługą – treść zapytań nie jest analizowana ani utrwalana w celu innym niż realizacja sesji obliczeniowej.
- Brak trenowania modeli na danych klientów – Polcom nie wykorzystuje danych klientów do trenowania własnych ani publicznych modeli językowych.
- Izolacja zasobów – operacje mogą odbywać się w ramach suwerennej, polskiej infrastruktury chmurowej.
- Dedykowane endpoint’y – organizacja może ograniczyć zależność od publicznych modeli i środowisk, w których lokalizacja oraz sposób przetwarzania danych są trudniejsze do zweryfikowania.
To podejście wspiera firmy, które chcą wdrażać AI w obszarach wymagających ostrożności, takich jak analiza dokumentów wewnętrznych, obsługa danych osobowych, praca na dokumentacji technicznej, finansowej, medycznej, prawnej lub strategicznej.
Personalizacja i parametryzacja modeli AI
AIaaS daje możliwość dopasowania środowiska wykonawczego modelu do konkretnego scenariusza użycia. Dzięki temu organizacja może lepiej kontrolować wydajność, koszty, długość kontekstu, typ modelu i sposób obsługi zapytań.
Możliwości konfiguracji:
- Konfiguracja modelu – wybór architektury, wielkości modelu, typu kwantyzacji oraz długości okna kontekstowego.
- Optymalizacja wydajności – ustawienie parametrów takich jak wielkość KV Cache, dtype oraz dodatkowych flag właściwych dla wybranych modeli.
- Bring Your Own Model – możliwość uruchomienia dowolnego otwartego modelu wspieranego przez vLLM, w tym modeli po fine-tuningu, np. metodą LoRA.