17 KiB
meta_title, title, icon, description, cover
| meta_title | title | icon | description | cover |
|---|---|---|---|---|
| Zalecane czaty AI: Prywatne alternatywy dla ChatGPT – Privacy Guides | Czaty AI | material/assistant | W przeciwieństwie do ChatGPT od OpenAI i jego konkurentów z wielkich firm technologicznych, te narzędzia AI działają lokalnie, więc Twoje dane nigdy nie opuszczają komputera. | ai-chatbots.webp |
Chroni przed następującymi zagrożeniami:
- :material-server-network: Dostawcy usług{ .pg-teal }
- :material-account-cash: Kapitalizm inwigilacji{ .pg-brown }
- :material-close-outline: Cenzura{ .pg-blue-gray }
Korzystanie z czatów AI (lub też czatów SI), znanych również jako duże modele językowe (LLM), stało się coraz bardziej powszechne od czasu pojawienia się ChatGPT w 2022 roku. LLM-y mogą pomagać w lepszym pisaniu, ułatwiać zrozumienie nieznanych tematów lub odpowiadać na szeroki zakres pytań. Ich działanie polega na statystycznym przewidywaniu kolejnego słowa w odpowiedzi na podstawie ogromnej ilości danych pozyskanych z sieci.
Obawy dotyczące prywatność związane z modelami LLM
Dane wykorzystywane do trenowania modeli sztucznej inteligencji obejmują jednak ogromne zbiory publicznie dostępnych informacji zebranych z Internetu, które mogą zawierać poufne dane, takie jak imiona, nazwiska czy adresy. Oprogramowanie sztucznej inteligencji działające w chmurze często gromadzi dane wejściowe użytkownika, co oznacza, że Twoje rozmowy nie są dla nich prywatne. Praktyka ta zwiększa również ryzyko wycieków danych. Ponadto istnieje realna możliwość, że LLM ujawni prywatne informacje z Twoich czatów w przyszłych rozmowach z innymi użytkownikami.
Jeśli obawiasz się takich praktyk, możesz zrezygnować z używania sztucznej inteligencji albo skorzystać z prawdziwie otwartych modeli, które publicznie udostępniają i pozwalają zweryfikować zbiory danych użyte do treningu. Przykładem takiego modelu jest OLMoE opracowany przez Ai2.
Alternatywnie można uruchamiać modele sztucznej inteligencji lokalnie, dzięki czemu dane nigdy nie opuszczają urządzenia i nie są udostępniane stronom trzecim. Modele lokalne stanowią zatem bardziej prywatną i bezpieczną alternatywę dla rozwiązań chmurowych i pozwalają na przekazywanie modelowi poufnych informacji bez obaw.
Modele sztucznej inteligencji
Sprzęt dla lokalnych modeli sztucznej inteligencji
Modele uruchamiane lokalnie są też dość przystępne. Mniejsze modele można uruchamiać z mniejszą prędkością, mając tylko 8 GB pamięci RAM. Najlepsze wrażenia zapewnia jednak bardziej wydajny sprzęt, np. dedykowana karta graficzna z odpowiednią ilością pamięci VRAM lub nowoczesny system z szybką pamięcią LPDDR5X.
LLM-y zwykle rozróżnia się według liczby parametrów — dla modeli open-source dostępnych dla użytkowników końcowych wartości te wahają się od około 1,3 mld do 405 mld parametrów. Na przykład modele o parametrach poniżej 6,7 mld parametrów nadają się głównie do podstawowych zadań, takich jak streszczenia tekstu, natomiast modele w przedziale 7–13 mld stanowią dobry kompromis między jakością a szybkością. Modele o zaawansowanych zdolnościach rozumowania mają zwykle około 70 mld parametrów.
Dla sprzętu konsumenckiego zwykle zaleca się używanie modeli kwantyzowanych, które dają najlepszy balans między jakością modelu a wydajnością. Sprawdź poniższą tabelę, aby uzyskać bardziej szczegółowe informacje o typowych wymaganiach dla różnych rozmiarów modeli kwantyzowanych.
| Rozmiar modelu (liczba parametrów) | Minimalna pamięć RAM | Minimalny procesor / sprzęt |
|---|---|---|
| 7 mld | 8 GB | Nowoczesny procesor (z obsługą AVX2) |
| 13 mld | 16 GB | Nowoczesny procesor (z obsługą AVX2) |
| 70 mld | 72 GB | Karta graficzna z pamięcią VRAM |
Aby uruchomić sztuczną inteligencję lokalnie, potrzebujesz zarówno modelu sztucznej inteligencji, jak i klienta sztucznej inteligencji.
Wybór modelu
Dostępnych jest wiele modeli na licencjach pozwalających na swobodne użycie. Platformą, która umożliwia przeglądanie, badanie i pobieranie modeli w popularnych formatach (np. GGUF), jest Hugging Face. Firmy udostępniające dobre modele z otwartymi wagami to m.in. Mistral, Meta, Microsoft i Google. Jednak istnieje też wiele modeli tworzonych przez społeczność oraz modeli dostrojonych. Jak wspomniano wcześniej, modele kwantyzowane zwykle oferują najlepszy kompromis jakości i wydajności dla sprzętu konsumenckiego.
Aby wybrać model odpowiedni dla Twoich potrzeb, warto śledzić rankingi i benchmarki. Najbardziej popularnym rankingiem społecznościowym jest LM Arena. Z kolei OpenLLM Leaderboard koncentruje się na wydajności modeli z otwartymi wagami w standardowych benchmarkach, takich jak MMLU-Pro. Istnieją też wyspecjalizowane benchmarki mierzące np. inteligencję emocjonalną, „nieocenzurowaną ogólną inteligencję” oraz wiele innych.
Klienci czatu AI
| Cecha/funkcja | Kobold.cpp | Ollama | Llamafile |
|---|---|---|---|
| Obsługa GPU | :material-check:{ .pg-green } | :material-check:{ .pg-green } | :material-check:{ .pg-green } |
| Generowanie obrazów | :material-check:{ .pg-green } | :material-close:{ .pg-red } | :material-close:{ .pg-red } |
| Rozpoznawanie mowy | :material-check:{ .pg-green } | :material-close:{ .pg-red } | :material-close:{ .pg-red } |
| Automatyczne pobieranie modeli | :material-close:{ .pg-red } | :material-check:{ .pg-green } | :material-alert-outline:{ .pg-orange } Kilka dostępnych modeli |
| Niestandardowe parametry | :material-check:{ .pg-green } | :material-close:{ .pg-red } | :material-check:{ .pg-green } |
| Wieloplatformowość | :material-check:{ .pg-green } | :material-check:{ .pg-green } | :material-alert-outline:{ .pg-orange } Ograniczenia rozmiaru w systemie Windows |
Kobold.cpp
{align=right}
Kobold.cpp to klient sztucznej inteligencji uruchamiany lokalnie na komputerach z systemem Windows, Mac lub Linux. To doskonały wybór, jeśli zależy Ci na szerokich możliwościach dostosowywania i modyfikacji, na przykład w celu odgrywania ról.
Oprócz obsługi szerokiej gamy modeli tekstowych, Kobold.cpp obsługuje też generatory obrazów, takie jak Stable Diffusion, oraz narzędzia do automatycznego rozpoznawania mowy, np. Whisper.
:octicons-repo-16: Repozytorium{ .md-button .md-button--primary } :octicons-info-16:{ .card-link title="Dokumentacja" } :octicons-code-16:{ .card-link title="Kod źródłowy" } :octicons-lock-16:{ .card-link title="Polityka bezpieczeństwa" }
Problemy z kompatybilnością
Kobold.cpp może nie działać na komputerach bez obsługi AVX/AVX2.
Kobold.cpp umożliwia modyfikowanie parametrów, takich jak temperatura modelu czy tzw. system prompt czatu. Pozwala także na utworzenie tunelu sieciowego, dzięki któremu do modeli sztucznej inteligencji można uzyskać dostęp z innych urządzeń, np. ze smartfona.
Ollama (CLI)
{align=right}
Ollama to asystent AI działający z wiersza poleceń, dostępny na komputerach z systemem macOS, Linux i Windows. Ollama to świetny wybór, jeśli zależy Ci na kliencie, który jest łatwy w obsłudze, szeroko kompatybilny i szybki dzięki wykorzystaniu wnioskowania i innych technik. Nie wymaga też żadnej ręcznej konfiguracji.
Oprócz obsługi szerokiej gamy modeli tekstowych, Ollama obsługuje także modele LLaVA, oraz posiada eksperymentalne wsparcie dla możliwości wizyjnych Llama opracowanych przez Meta.
:octicons-home-16: Strona główna{ .md-button .md-button--primary } :octicons-info-16:{ .card-link title="Dokumentacja" } :octicons-code-16:{ .card-link title="Kod źródłowy" } :octicons-lock-16:{ .card-link title="Polityka bezpieczeństwa" }
Ollama upraszcza proces konfiguracji lokalnego czatu AI, automatycznie pobierając wybrany przez Ciebie model. Na przykład polecenie ollama run llama3.2 automatycznie pobierze i uruchomi model Llama 3.2. Ponadto Ollama prowadzi własną bibliotekę modeli, w której hostuje pliki różnych modeli sztucznej inteligencji. Dzięki temu modele są weryfikowane pod kątem wydajności i bezpieczeństwa, co eliminuje konieczność samodzielnego sprawdzania autentyczności plików modelu.
Llamafile
{align=right}
Llamafile to lekki, jednoplikowy program wykonywalny, który pozwala uruchamiać LLM lokalnie na własnym komputerze bez żadnej konfiguracji. Projekt jest wspierany przez Mozillę i jest dostępny w systemach Linux, macOS i Windows.
Llamafile obsługuje również LLaVA. Jednak nie wspiera rozpoznawania mowy ani generowania obrazów.
:octicons-repo-16: Repozytorium{ .md-button .md-button--primary } :octicons-info-16:{ .card-link title="Dokumentacja" } :octicons-code-16:{ .card-link title="Kod źródłowy" } :octicons-lock-16:{ .card-link title="Polityka bezpieczeństwa" }
Mozilla udostępniła llamafile tylko dla niektórych modeli Llama i Mistral, podczas gdy dostępnych jest niewiele wersji tworzonych przez zewnętrznych autorów. Ponadto system Windows ogranicza rozmiar plików .exe do 4 GB, podczas gdy większość modeli ma większy rozmiar.
Aby obejść te ograniczenia, możesz wczytać zewnętrzne wagi.
Bezpieczne pobieranie modeli
Jeśli korzystasz z klienta AI, który utrzymuje własną bibliotekę plików modelu (takiego jak Ollama czy Llamafile), pobieraj modele z tej biblioteki. Jednak jeśli chcesz pobrać modele, które nie znajdują się w ich bibliotece, albo korzystasz z klienta AI, który nie prowadzi własnej biblioteki (np. Kobold.cpp), musisz podjąć dodatkowe kroki, aby upewnić się, że pobierany model jest bezpieczny i autentyczny.
Zalecamy pobieranie plików modeli z serwisu Hugging Face, ponieważ oferuje on szereg funkcji umożliwiających sprawdzenie, czy pobrane pliki są autentyczne i bezpieczne w użyciu.
Aby sprawdzić autentyczność i bezpieczeństwo modelu, zwróć uwagę na:
- Karty modelu z przejrzystą dokumentacją
- Odznakę zweryfikowanej organizacji
- Opinie społeczności i statystyki użytkowania
- Odznakę „Safe” obok pliku modelu (tylko Hugging Face)
- Pasujące sumy kontrolne1
- Na Hugging Face skrót (hash) znajdziesz, klikając plik modelu i wybierając przycisk Copy SHA256 znajdujący się pod nim. Należy porównać tę sumę kontrolną z tą z pobranego pliku modelu.
Pobrany model można uznać za ogólnie bezpieczny, jeśli spełnia wszystkie powyższe kryteria.
Kryteria
Należy pamiętać, że nie jesteśmy powiązani z żadnym z polecanych przez nas projektów. Oprócz naszych standardowych kryteriów opracowaliśmy jasny zestaw wymagań, które pozwalają nam formułować obiektywne zalecenia. Sugerujemy zapoznanie się z tą listą przed wyborem projektu oraz przeprowadzenie własnych badań, aby upewnić się, że jest to odpowiedni wybór dla Ciebie.
Minimalne wymagania
- Musi być open source.
- Nie może przesyłać danych osobowych, w tym danych z czatów.
- Musi być wieloplatformowy.
- Nie może wymagać GPU.
- Musi obsługiwać szybkie wnioskowanie oparte na GPU.
- Nie może wymagać połączenia z Internetem.
Najlepszy scenariusz
Nasze kryteria „najlepszego scenariusza” określają, jak powinien wyglądać idealny projekt w tej kategorii. Nasze zalecenia nie muszą spełniać wszystkich tych warunków, jednak projekty, które spełniają więcej z nich, mogą być oceniane wyżej od pozostałych na stronie.
- Powinien być łatwy do pobrania i skonfigurowania, np. instalacja jednym kliknięciem.
- Powinien mieć wbudowaną opcję pobierania modeli.
- Użytkownik powinien mieć możliwość modyfikacji parametrów LLM, takich jak system prompt czy temperatura.
*[LLaVA]: Large Language and Vision Assistant (wielomodalny model sztucznej inteligencji) *[LLM]: Duży model językowy (model sztucznej inteligencji, taki jak ChatGPT) *[LLMs]: Duże modele językowe (modele sztucznej inteligencji, takie jak ChatGPT) *[modele z otwartymi wagami]: Model sztucznej inteligencji, który każdy może pobrać i używać, jednak dane treningowe i/lub zastosowane algorytmy pozostają zastrzeżone. *[system prompt]: System prompt (z ang. instrukcja systemowa) to ogólne instrukcje przekazywane przez człowieka, które określają sposób działania modelu. *[temperatura]: Temperatura modelu to parametr służący do kontrolowania poziomu losowości i kreatywności generowanego tekstu.
-
Suma kontrolna pliku to rodzaj odcisku palca chroniącego przed manipulacją. Deweloper zwykle udostępnia sumę kontrolną w osobnym pliku tekstowym lub na stronie pobierania. Zweryfikowanie, czy suma kontrolna pobranego pliku zgadza się z tą podaną przez dewelopera, pomaga upewnić się, że plik jest oryginalny i nie został zmodyfikowany w trakcie transferu. Możesz użyć poleceń takich jak
sha256sumw systemach Linux i macOS albocertutil -hashfile file SHA256w systemie Windows, aby wygenerować sumę kontrolną pobranego pliku. ↩︎