Z tego, co piszesz, główny winowajca to najpewniej Twoja RTX 5060. Obecnie Thaluna nie radzi sobie stabilnie z kartami z serii RTX 5000 ani przy GPU OCR, ani przy wbudowanych lokalnych modelach. Powód jest dość prosty: stack, na którym to stoi, czyli PaddleOCR / CUDA / transformers, nie ma jeszcze stabilnego wsparcia dla tej generacji kart.
Na Twoim sprzęcie najlepiej więc ustawić OCR i translation device w Thalunie na CPU, a jako translation engine wybrać coś poza wbudowanymi offline modelami:
- Local API / OpenAI-compatible, np. KoboldCpp, llama.cpp server albo LM Studio
- Ollama
- OpenRouter, jeśli może być cloud
Wbudowanych offline modeli typu English-Polish, Japanese-English itd. bym na razie unikał jako głównego trybu. One też korzystają ze stacku ML/transformers i mogą tylko dokładać obciążenia albo powodować problemy na RTX 5000.
Z lokalnych backendów polecam KoboldCpp albo llama.cpp/LM Studio. Dobrze skonfigurowane pod Twoją kartę często mogą działać szybciej niż Ollama. Ollama jest prostsza w ustawieniu, ale KoboldCpp/llama.cpp/LM Studio dają więcej kontroli nad szybkością.
Jedna ważna rzecz: jeśli planujesz korzystać z KoboldCpp czy Local OpenAI API, najlepiej od razu startuj Thalunę w tym trybie, a nie najpierw na wbudowanym modelu offline. Wbudowany model może po drodze załadować dodatkowe paczki/model lokalny i niepotrzebnie obciążyć system, nawet jeśli potem przełączysz się na Local API.
W pigułce, najlepsza konfiguracja na teraz:
OCR: CPU, tryb Instant
Translation device: CPU
Translation engine: Local API / OpenAI-compatible
Backend: KoboldCpp / llama.cpp server / LM Studio, dobrze dopasowany do Twojego GPU
Capture region: jak najmniejszy, tylko samo okno dialogowe
Mała uwaga: to, że OCR i translation device w Thalunie stoją na CPU, nie znaczy, że Twoja karta leży bezczynnie. KoboldCpp, llama.cpp czy LM Studio korzystają z GPU po swojej stronie, to zupełnie osobne sprawy.
Poradniki, co i gdzie ustawić, znajdziesz na:
W najbliższym update zejdę z minimalnym auto-refresh delay do 0.05s, więc przy szybkich dialogach powinno być trochę lepiej. Nie obiecuję jednak cudów na RTX 5060, bo głównym ograniczeniem wciąż będzie brak stabilnego GPU OCR dla kart z tej serii.
Jak tylko PaddleOCR / CUDA / transformers dostaną stabilne, nieeksperymentalne wsparcie dla RTX 5000, postaram się zrobić update Thaluny pod GPU OCR i GPU dla wbudowanych modeli albo przynajmniej osobną wersję eksperymentalną do testów.