AI інструмент CanIRun.ai може автоматично визначати апаратне забезпечення користувача через браузер, оцінювати, які моделі LLM можна запустити та швидкість їхньої роботи. Зацікавлені користувачі можуть спробувати та ознайомитися.
(Передісторія: Clawdbot — це AI-джентльмен, що продає Mac mini цілодобово, 7×24)
(Додатково: Не сліпо слідуйте за OpenClaw, хоча краби AI дуже сильні, вони не завжди підходять саме вам)
Зміст статті
Перемикач
- Невеликі недоліки CanIRun.ai
- Альтернатива командному рядку — llmfit
- Що найбільше цінують спільноти
Хочете самостійно встановити на локальній машині модель LLM? Найчастіша проблема новачків —: Що саме моя комп’ютер може запустити? У цій статті ми розглянемо інструмент CanIRun.ai, який недавно викликав обговорення у спільноті Hacker News.
CanIRun.ai — це чисто веб-інструмент, дуже простий у використанні: відкриваєте браузер, і він автоматично через API WebGPU визначає модель GPU та її пам’ять, а потім, враховуючи кількість параметрів моделей, рівень кількісної обробки (Q4_K_M, Q8_0, F16 тощо) і пропускну здатність пам’яті, оцінює можливість запуску кожної моделі та швидкість обробки (token/s). Результати подаються у шкалі від S до F.
Обсяг охоплює від легких моделей з 0.8 млрд параметрів до гігантських MoE (мікс експертів) з 1 трлн параметрів, дані беруться з llama.cpp, Ollama, LM Studio та інших популярних локальних інструментів.
Невеликі недоліки CanIRun.ai
Хоча концепція інструменту отримала схвалення спільноти, є й критика. Основні зауваження — неповний список апаратного забезпечення та різниця між оцінками та реальними результатами.
Найчастіше згадують відсутність у списку RTX Pro 6000, RTX 5060 Ti 16GB, різних ноутбучних GPU. Щодо Apple — є список, але максимум — 192GB пам’яті, тоді як M3 Ultra реально підтримує до 512GB.
Що стосується похибки оцінки — деякі користувачі помітили, що результати тестів не збігаються з оцінками CanIRun.ai. Випадки, коли сайт каже, що модель не запуститься, але вона працює — не рідкість. Це змушує деяких користувачів ігнорувати результати.
Хоч інструмент і потребує покращень, для новачків він все ж швидко допомагає визначити можливості їхнього обладнання.
Альтернатива командному рядку — llmfit
У спільноті також рекомендують інструмент llmfit — це командний рядок, що безпосередньо викликає системні інструменти (наприклад, nvidia-smi) для точного визначення GPU, не залежить від API браузера. Багато вважають його більш корисним і точним за веб-інструмент.
Однак у цьому виникає інша тема: користувачі дивуються, що llmfit може точно визначити модель GPU без запитів до системи або дозволів. Це піднімає питання про приватність та ідентифікацію апаратного забезпечення через браузер: якщо WebGPU може визначити вашу відеокарту, то як ця інформація використовується?
Деякі пропонують інтегрувати цю функцію безпосередньо у Ollama, щоб користувачі могли з командного рядка автоматично підбирати моделі відповідно до їхнього обладнання, без ручного пошуку.
Що найбільше цінують спільноти
За відгуками, основна проблема CanIRun.ai — не лише точність оцінки, а й обмеженість у характеристиках. Користувачі хочуть знати: на їхньому обладнанні яка модель дає найкращу якість і прийнятну швидкість? Інструмент може лише сказати, чи можливо запустити модель, але не дає відповіді, наскільки вона хороша.
Спільноти прагнуть додати бенчмарки моделей, враховуючи апаратне забезпечення, щоб мати більш повну картину. Також пропонують покращити підтримку спільних ресурсів пам’яті (наприклад, використання системної пам’яті GPU), підтримку кешу KV, та виправити логіку обчислень MoE моделей.
Загалом, напрямок правильний, і попит є: для звичайних користувачів поріг входу у локальний AI залишається високим. Швидке визначення «що підходить для моєї машини» — це актуальна потреба. CanIRun.ai цілком відповідає цій ідеї, але ще потребує доопрацювання.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
