LM Studio

以前、OllamaやLM Studioで翻訳をしてみたが、その続き。どちらかというと、、、LM Studioのコンテキスト長調整はありがたいことと、langchain-text-splitterがすばらしいという話になりそうだが笑 はじめに 以前(これやこれやこれ)の復習として、たとえば英語の論文を読みたい時に自分が英語が大変苦手で。できれば、Markdownにした上で、Google翻訳よりは読みやすい日本語で翻訳することを目指している。 今回はセクション単位での翻訳を目指すことにする。理由としては、LLMのコンテキスト長。正直API経由などで各種サービスのモデルを利用すれば、論文全体を入力し…

EVO-X2（128GBモデル）を使って、gpt-oss-120bを動作させてみました。gpt-ossの実行はLM Studioを使っています。EVO-X2とは、ミニPCメーカーのGMKtecが販売しているハイエンドミニPCです。これは特にAI処理や高性能なクリエイティブ作業に特化したモデルとして注目されていて、私もローカルAIやゲーミング用途にも使えるかなと思って2025年の9月ごろに購入しました。EVO-X2の主なスペックは以下の通りです。メモリはGPUにどれだけ割り当てるかを変更することができ、私は128GBのうち、98GBをVRAM（GPUメモリ）に割り当てています。 EVO-X2 項…

前回のOllamaでPythonを動かしたものの続き。今回はOllamaと似たサービスというかアプリケーションになるLM Studio。 LM Studioについて いろいろ追っていくと2025年の7月1日に利用規約が変更された(リンクとしては、直近の最新になってしまうと思う)。 Subject to the terms and conditions of these Terms, Element Labs grants to You a non-exclusive, non-transferable, license to use the Software solely for Your p…

LM Studio でLLM環境を作成してだいぶ経った。 Tinderbox11が出てClaudeと連携して使える環境も現れた。 但し有料でないと作業ができ無い事柄が多い。今は無料での利用のみ。 DEVONthink4.1でもLLMも使えるのでLM Studioを指定して試している。 LM Studioにはgemma-3-27b以外にmistral-small-3.2-24bも保存しているので 使う状況に応じて切り替えるつもり。gemma-3-27bは少々メモリーを多く使用する。 回答は思った以上に「別別」で異なるのが面白い。

大学の講義受講でなかなか時間が取れませんでしたが、ようやく授業にも慣れてきました🙄 時間ができたとはいえ、日々の課題に追われていると、これまで時間をかけて調べていた設定を調べることも大変です。たとえば、これまでローカルLLMにはOllamaを使用していましたが、モデルを検索したりDockerイメージをバージョンアップしたりする際、「ちょっと試してみたい」だけなのに意外と時間がかかってしまうことがよくあります。 そこで、以前から気になっていたLM Studioを使って、完全にGUIの世界でLLMを試してみることにしました。ただし、私のGPU搭載PCにはUbuntuをインストールしているため、今回…

はじめに以前LM StudioとGraidoを組み合わせてOCRアプリを作りました。 touch-sp.hatenablog.com lmstudioというPythonライブラリを使うともっと簡単に実現可能でした。Pythonスクリプト import lmstudio as lms import gradio as gr import os # モデルの初期化 model = lms.llm("gemma-3-12b-it-qat") def extract_text(image_path: str): """ 画像からテキストを抽出する関数 """ try: # 画像ファイルが存在するかチェ…

モデルのリストを調べる lms ls モデルのロード lms load gemma-3-12b-it-qat --context-length 2048 サーバーの開始 lms server startモデルをロードしないでサーバーを開始することもできますが、context-lengthなど指定する場合は先にロードしておくのがいいと思います。 ランキング参加中プログラミング