Lokalny model AI, odpowiednio skonfigurowany, może działać całkowicie bez dostępu do internetu — istotne rozwiązanie tam, gdzie łączność jest ograniczona lub gdzie firma świadomie ogranicza ruch sieciowy stanowiska.

Na czym polega ta usługa

Usługa obejmuje skonfigurowanie lokalnego modelu AI tak, aby działał w pełni offline, sprawdzenie, czy wszystkie potrzebne funkcje działają bez dostępu do sieci, oraz przetestowanie stabilności takiej konfiguracji.

Dla kogo ma sens

Usługa jest przydatna dla firm pracujących w miejscach o ograniczonym dostępie do internetu lub świadomie odcinających wybrane stanowiska od sieci ze względów bezpieczeństwa.

Ile to trwa

Konfiguracja pracy offline mieści się z reguły w standardowym czasie do 3 dni.

Warunki

Diagnoza wstępna i wycena są bezpłatne. Dojazd na terenie Warszawy i okolic jest bezpłatny, a usługa objęta jest gwarancją do 12 miesięcy.

Warianty architektury lokalnego AI bez dostępu do internetu

Praca sztucznej inteligencji w środowisku odciętym od internetu może przyjmować różne formy, w zależności od wymagań dotyczących bezpieczeństwa danych oraz struktury organizacyjnej przedsiębiorstwa. Wyróżnia się trzy podstawowe warianty wdrożenia:

Pierwszym wariantem jest pojedyncza stacja robocza pracująca w reżimie air-gap (fizyczne i logiczne odizolowanie komputera od jakiejkolwiek sieci zewnętrznej oraz lokalnej). W tej konfiguracji urządzenie nie posiada podłączonych kabli sieciowych, a moduły bezprzewodowe Wi-Fi oraz Bluetooth są wyłączone w oprogramowaniu układowym UEFI/BIOS (podstawowym systemie wejścia-wyjścia płyty głównej) lub na poziomie systemu operacyjnego. Wszelkie wagi modeli, oprogramowanie i biblioteki są przenoszone na stanowisko wyłącznie za pośrednictwem sprawdzonych, szyfrowanych nośników pamięci masowej USB. To rozwiązanie stosuje się w działach prawnych, badawczo-rozwojowych oraz instytucjach przetwarzających dane o najwyższym stopniu poufności.

Drugim wariantem jest serwer inferencyjny w wydzielonym segmencie sieci lokalnej LAN (sieci komputerowej łączącej urządzenia na ograniczonym obszarze, na przykład w biurze). W tym układzie model AI oraz silnik obliczeniowy działają na centralnym serwerze lub wydajnej stacji roboczej, do której dostęp mają wyłącznie autoryzowani pracownicy z poziomu własnych komputerów w firmie. Router nie posiada skonfigurowanej bramy domyślnej (adresu urządzenia trasującego pakiety do internetu) dla tego segmentu lub zapora sieciowa całkowicie blokuje ruch wychodzący poza sieć lokalną. Użytkownicy korzystają z interfejsu przez przeglądarkę internetową, wysyłając zapytania wyłącznie wewnątrz chronionej sieci zakładowej.

Trzecim wariantem jest hybrydowa stacja robocza z programową izolacją procesów. Komputer pozostaje podłączony do sieci lokalnej w celu wymiany standardowych plików, jednak procesy odpowiedzialne za inferencję (proces wykonywania obliczeń i generowania odpowiedzi przez model sztucznej inteligencji) oraz bazę wektorową są ściśle ograniczone przez reguły zapory sieciowej (firewall) systemu Windows lub Linux. Ruch sieciowy dla aplikacji sztucznej inteligencji jest zablokowany, co uniemożliwia wysłanie jakichkolwiek zapytań lub danych telemetrycznych do serwerów zewnętrznych.

Komponenty stosu technologicznego w instalacji offline

Prawidłowe uruchomienie lokalnego modelu językowego LLM (dużego modelu językowego przetwarzającego język naturalny za pomocą sieci neuronowych) bez połączenia z siecią wymaga skompletowania i poprawnej konfiguracji kilku współpracujących ze sobą warstw oprogramowania:

Podstawę stanowi silnik inferencyjny (specjalistyczne oprogramowanie odpowiedzialne za zarządzanie pamięcią, ładowanie wag modelu i wykonywanie operacji matematycznych na procesorze lub karcie graficznej). W środowiskach zamkniętych stosuje się zoptymalizowane silniki, takie jak llama.cpp, Ollama czy vLLM. Każdy z tych programów musi zostać zainstalowany wraz ze wszystkimi wymaganymi bibliotekami wykonawczymi bez korzystania z internetowych instalatorów pobierających komponenty w tle.

Kolejną warstwą są pliki wag modeli. Wykorzystuje się modele w formatach zoptymalizowanych do lokalnego przetwarzania, w tym format GGUF (binarny format zapisu modeli przystosowany do szybkiego ładowania i pracy na procesorach CPU oraz procesorach graficznych GPU) oraz format SafeTensors (bezpieczny format przechowywania wag sieci neuronowych zapobiegający uruchamianiu niepożądanego kodu podczas ładowania). Wagi te muszą zostać zainstalowane w lokalnych katalogach systemowych wraz z kompletnymi plikami tokenizatora (modułu dzielącego wprowadzony tekst na mniejsze jednostki liczbowe zrozumiałe dla modelu).

Trzecim elementem jest lokalny interfejs użytkownika, najczęściej uruchamiany jako aplikacja webowa w lokalnym stosie oprogramowania (na przykład Open WebUI lub Text Generation WebUI). Standardowe wersje tych interfejsów często odwołują się do zewnętrznych sieci CDN (Content Delivery Network, czyli zewnętrznych serwerów dostarczających style, czcionki i biblioteki skryptowe). W instalacji w pełni odciętej od sieci wszystkie zasoby graficzne, arkusze stylów CSS oraz skrypty JavaScript muszą zostać zlokalizowane na dysku stacji roboczej, aby interfejs renderował się prawidłowo bez połączenia internetowego.

Lokalne wyszukiwanie w dokumentach (RAG) bez wychodzenia do sieci

Częstym wymaganiem w firmach jest praca modelu AI na wewnętrznej dokumentacji przedsiębiorstwa, takiej jak umowy, dokumentacja techniczna, procedury wewnętrzne czy bazy wiedzy. Wykorzystuje się do tego architekturę RAG (Retrieval-Augmented Generation, czyli generowanie odpowiedzi wspomagane wyszukiwaniem informacji w lokalnych dokumentach).

Wdrożenie RAG w środowisku bez dostępu do sieci wymaga uruchomienia lokalnego modelu osadzeń (embedding model, czyli wyspecjalizowanego modelu przekształcającego fragmenty tekstu na wielowymiarowe wektory liczbowe odzwierciedlające ich znaczenie semantyczne). Jeśli model osadzeń wymagałby połączenia z zewnętrznym API, cały mechanizm przestałby działać po odcięciu internetu. Dlatego instaluje się lokalne modele osadzeń, które przetwarzają pliki bezpośrednio na procesorze lub karcie graficznej urządzenia.

Wygenerowane wektory trafiają do lokalnej bazy wektorowej (systemu bazodanowego przystosowanego do indeksowania i przeszukiwania wektorów cech tekstu, takiego jak ChromaDB, Qdrant czy LanceDB), która działa jako proces w systemie operacyjnym stacji roboczej. Gdy użytkownik zadaje pytanie, system przeszukuje lokalny indeks, wyodrębnia najbardziej pasujące fragmenty dokumentów firmowych i przekazuje je do lokalnego modelu językowego wraz z zapytaniem. Cały proces odczytu plików, indeksowania, wektoryzacji i generowania odpowiedzi zamyka się wewnątrz pamięci komputera klienta, bez wysyłania jakichkolwiek informacji na zewnątrz.

Wymagania sprzętowe i optymalizacja parametrów stacji roboczej

Wydajność modelu sztucznej inteligencji pracującego bez wsparcia chmury zależy bezpośrednio od parametrów fizycznych komputera lub serwera. Podczas konfiguracji dobiera się parametry modelu do dostępnych podzespołów:

Kluczowym elementem jest pamięć wideo VRAM karty graficznej (szybka pamięć dedykowana procesorowi graficznemu, służąca do przechowywania struktur modelu). Modele językowe o rozmiarze 7-8 miliardów parametrów wymagają zazwyczaj od 6 do 8 gigabajtów pamięci VRAM przy zastosowaniu odpowiedniej kompresji. W przypadku braku dedykowanej karty graficznej o odpowiedniej pojemności obliczenia są kierowane na pamięć operacyjną RAM i procesor główny CPU, co wymaga odpowiedniej konfiguracji wielowątkowości oraz alokacji zasobów.

Aby umożliwić działanie zaawansowanych modeli na standardowych stacjach roboczych, stosuje się kwantyzację (proces zmniejszania precyzji zapisu wag modelu, na przykład z formatu 16-bitowego FP16 do formatu 4-bitowego, w celu zmniejszenia zapotrzebowania na pamięć). Kwantyzacja pozwala zredukować zapotrzebowanie na pamięć nawet o 70 procent przy zachowaniu wysokiej precyzji odpowiedzi logicznych i językowych.

Ważnym parametrem jest również rozmiar okna kontekstowego (context window, czyli limitu długości tekstu obejmującego zapytanie, historię konwersacji oraz dołączone dokumenty). Zwiększenie okna kontekstowego wymaga rezerwacji dodatkowej pamięci podręcznej KV (pamięci przechowującej przetworzone wcześniej tokeny w celu przyspieszenia generowania kolejnych wyrazów), co wymaga precyzyjnego ustawienia limitów w konfiguracji silnika, aby zapobiec awariom z powodu braku pamięci.

Typowe błędy podczas prób samodzielnej konfiguracji AI offline

Próby samodzielnego uruchomienia sztucznej inteligencji w środowisku odciętym od sieci często napotykają na problemy techniczne wynikające ze specyfiki współczesnych pakietów oprogramowania:

Najczęstszym błędem jest poleganie na instalatorach sieciowych oraz menedżerach pakietów bez przygotowania lokalnych archiwów wheel (plików instalacyjnych z rozszerzeniem whl zawierających skompilowane biblioteki języka Python). Wiele narzędzi open-source podczas pierwszego uruchomienia próbuje pobrać dodatkowe wagi tokenizatorów, czcionki lub biblioteki pomocnicze. W środowisku bez internetu aplikacja zgłasza błąd połączenia sieciowego i zatrzymuje działanie.

Drugim częstym problemem jest pozostawienie domyślnych odwołań do zasobów CDN w plikach szablonów interfejsu graficznego. Użytkownik instaluje oprogramowanie przy włączonym internecie, jednak po odcięciu kabla sieciowego interfejs w przeglądarce przestaje ładować ikony, elementy układu strony lub skrypty odpowiedzialne za obsługę czatu.

Kolejnym błędem jest brak konfiguracji zmiennych środowiskowych wymuszających tryb offline (takich jak parametry blokujące próby telemetrii lub sprawdzania aktualizacji w bibliotekach uczenia maszynowego). Aplikacje, które nie mają jednoznacznie zdefiniowanego trybu pracy bez sieci, generują opóźnienia, oczekując na przekroczenie limitu czasu połączenia (timeout) przed wykonaniem każdej operacji.

Zdarzają się także błędy polegające na nieprawidłowym doborze bibliotek obliczeniowych do posiadanego procesora graficznego. Brak właściwych sterowników i bibliotek CUDA (platformy obliczeń równoległych dla procesorów graficznych NVIDIA) lub ROCm (środowiska obliczeń równoległych dla procesorów graficznych AMD) powoduje, że model zamiast na karcie graficznej uruchamia się na procesorze głównym, co skutkuje wielokrotnie wolniejszym generowaniem odpowiedzi.

Kiedy środowisko całkowicie odcięte od internetu nie jest wskazanym rozwiązaniem

Choć konfiguracja w pełni lokalnego AI zapewnia całkowitą prywatność i niezależność od zewnętrznych dostawców, istnieją sytuacje, w których takie podejście nie spełni oczekiwań użytkownika:

Rozwiązanie offline nie sprawdzi się w zadaniach wymagających bieżącego przeszukiwania internetu, monitorowania aktualnych kursów walut, wiadomości prasowych czy zmian w przepisach prawa wprowadzonych w czasie rzeczywistym. Model odcięty od sieci bazuje wyłącznie na wiedzy zawartej w swoich wagach oraz w dokumentach dostarczonych mu lokalnie w ramach mechanizmu RAG.

Ograniczeniem może być również dostępna moc obliczeniowa. Największe modele językowe o setkach miliardów parametrów wymagają rozbudowanych klastrów serwerowych z wieloma profesjonalnymi akceleratorami graficznymi. Jeśli profil działalności firmy wymaga analizy o najwyższym stopniu złożoności przekraczającym możliwości fizycznej stacji roboczej klienta, konieczne może być zastosowanie dedykowanego serwera lokalnego o odpowiednio dobranej specyfikacji podzespołów.

Konfiguracja offline nie jest również konieczna tam, gdzie przetwarzane są wyłącznie ogólnodostępne dane nieobjęte tajemnicą przedsiębiorstwa, a firma dysponuje stabilnym i szybkim łączem internetowym.

Pytania i odpowiedzi dotyczące lokalnego AI offline

Czy model działający offline uczy się z wprowadzanych zapytań?

Model w standardowym trybie inferencji nie modyfikuje swoich wag podczas rozmowy. Oznacza to, że nie zapisuje na stałe wprowadzanych informacji do swojej struktury neuronowej. Zapamiętuje on treść rozmowy wyłącznie w ramach bieżącej sesji w pamięci podręcznej (oknie kontekstowym). Po zresetowaniu sesji stan modelu wraca do wartości początkowej, co stanowi istotną zaletę z punktu widzenia bezpieczeństwa danych.

Jak odbywa się aktualizacja bazy wiedzy w systemie bez dostępu do sieci?

Aktualizacja bazy wiedzy w mechanizmie RAG polega na dodaniu nowych plików (np. dokumentów PDF, arkuszy kalkulacyjnych lub plików tekstowych) do wskazanego folderu na dysku komputera. Lokalny skrypt indeksujący przetwarza nowe dokumenty za pomocą lokalnego modelu osadzeń i aktualizuje bazę wektorową. Cały proces odbywa się bezpośrednio na maszynie klienta bez konieczności nawiązywania połączenia z internetem.

Jakie systemy operacyjne są wspierane przy wdrożeniu lokalnego AI?

Konfigurację realizujemy w środowiskach Microsoft Windows (Windows 10, Windows 11 oraz Windows Server) oraz w dystrybucjach systemu Linux (w tym Ubuntu, Debian, Red Hat czy AlmaLinux). Wybór systemu zależy od specyfiki sprzętu oraz infrastruktury informatycznej działającej w danej firmie.

Czy do przeprowadzenia konfiguracji na miejscu konieczne jest podanie hasła administratora?

Domyślnie nie prosimy o hasło użytkownika. Wszelkie operacje wymagające uprawnień administracyjnych (takie jak instalacja sterowników kart graficznych, usług systemowych czy modyfikacja reguł zapory sieciowej) wykonujemy w obecności klienta, który samodzielnie wprowadza hasło w odpowiednim monicie systemowym, lub instruujemy klienta, jak zatwierdzić poszczególne kroki.

Czy w przypadku awarii sprzętu podczas wdrożenia przysługuje urządzenie zastępcze?

Jeśli konfiguracja dotyczy laptopa, który z powodu usterki sprzętowej wymaga dłuższego testowania lub prac serwisowych, zapewniamy bezpłatny laptop zastępczy z systemem Windows na cały czas trwania procedury serwisowej, bez kaucji i bez ograniczeń czasowych.

Weryfikacja i odbiór skonfigurowanego środowiska

Po zakończeniu instalacji oprogramowania przeprowadzana jest kompleksowa procedura testowa bezpośrednio na miejscu u klienta. Obejmuje ona fizyczne odłączenie przewodów sieciowych i wyłączenie kart bezprzewodowych, a następnie wykonanie serii zapytań testowych do modelu językowego oraz lokalnej bazy dokumentów. Monitorowane jest obciążenie pamięci VRAM oraz RAM, a także stabilność termiczna podzespołów podczas długotrwałego generowania tekstu.

Dojazd serwisanta realizowany jest na terenie całej Warszawy oraz okolicznych powiatów w promieniu do 40 kilometrów, w tym w powiatach grodziskim, legionowskim, otwockim, piaseczyńskim, pruszkowskim, warszawskim zachodnim oraz wołomińskim. Wszystkie prace konfiguracyjne objęte są gwarancją do 12 miesięcy, a w razie potrzeby zapewniamy bezpłatną umowę o zachowaniu poufności (NDA, umowę o zachowaniu poufności chroniącą informacje przedsiębiorstwa) przed przystąpieniem do jakichkolwiek prac na stacji roboczej klienta.

22 378 48 09

Konfiguracja lokalnego AI do pracy bez dostępu do internetu