itch.io

Z tego, co piszesz, główny winowajca to najpewniej Twoja RTX 5060. Obecnie Thaluna nie radzi sobie stabilnie z kartami z serii RTX 5000 ani przy GPU OCR, ani przy wbudowanych lokalnych modelach. Powód jest dość prosty: stack, na którym to stoi, czyli PaddleOCR / CUDA / transformers, nie ma jeszcze stabilnego wsparcia dla tej generacji kart.

Na Twoim sprzęcie najlepiej więc ustawić OCR i translation device w Thalunie na CPU, a jako translation engine wybrać coś poza wbudowanymi offline modelami:

- Local API / OpenAI-compatible, np. KoboldCpp, llama.cpp server albo LM Studio

- Ollama

- OpenRouter, jeśli może być cloud

Wbudowanych offline modeli typu English-Polish, Japanese-English itd. bym na razie unikał jako głównego trybu. One też korzystają ze stacku ML/transformers i mogą tylko dokładać obciążenia albo powodować problemy na RTX 5000.

Z lokalnych backendów polecam KoboldCpp albo llama.cpp/LM Studio. Dobrze skonfigurowane pod Twoją kartę często mogą działać szybciej niż Ollama. Ollama jest prostsza w ustawieniu, ale KoboldCpp/llama.cpp/LM Studio dają więcej kontroli nad szybkością.

Jedna ważna rzecz: jeśli planujesz korzystać z KoboldCpp czy Local OpenAI API, najlepiej od razu startuj Thalunę w tym trybie, a nie najpierw na wbudowanym modelu offline. Wbudowany model może po drodze załadować dodatkowe paczki/model lokalny i niepotrzebnie obciążyć system, nawet jeśli potem przełączysz się na Local API.

W pigułce, najlepsza konfiguracja na teraz:

OCR: CPU, tryb Instant

Translation device: CPU

Translation engine: Local API / OpenAI-compatible

Backend: KoboldCpp / llama.cpp server / LM Studio, dobrze dopasowany do Twojego GPU

Capture region: jak najmniejszy, tylko samo okno dialogowe

Mała uwaga: to, że OCR i translation device w Thalunie stoją na CPU, nie znaczy, że Twoja karta leży bezczynnie. KoboldCpp, llama.cpp czy LM Studio korzystają z GPU po swojej stronie, to zupełnie osobne sprawy.

Poradniki, co i gdzie ustawić, znajdziesz na:

https://thaluna.app

W najbliższym update zejdę z minimalnym auto-refresh delay do 0.05s, więc przy szybkich dialogach powinno być trochę lepiej. Nie obiecuję jednak cudów na RTX 5060, bo głównym ograniczeniem wciąż będzie brak stabilnego GPU OCR dla kart z tej serii.

Jak tylko PaddleOCR / CUDA / transformers dostaną stabilne, nieeksperymentalne wsparcie dla RTX 5000, postaram się zrobić update Thaluny pod GPU OCR i GPU dla wbudowanych modeli albo przynajmniej osobną wersję eksperymentalną do testów.