スマホからも PC からも使えるプライベート LLM 環境 (Qwen 3.5-4B) を AWS に構築してみた | DevelopersIO

ClaudeやChatGPTなどのクラウドLLMサービスは障害時に利用不可となるため、自前のバックアップLLM環境を持つニーズが高まっている。本記事では、AWS EC2のスポットインスタンス（g4dn.xlarge、T4 GPU）上にQwen 3.5-4BをOllamaで動かし、Open WebUIでチャットUIを提供する構成を紹介。TailscaleによってインターネットへのポートPublicを一切開かずPCとスマホからセキュアにアクセスできる。未使用時は自動停止スクリプトにより課金を最小限に抑える設計となっており、Terraformのコードも全文掲載されている。

• •Tailscaleを利用してパブリックポートを開放せずにプライベートネットワーク経由でPCとスマホからLLMにアクセス可能
• •EC2スポットインスタンス（g4dn.xlarge）を活用しオンデマンド比60〜70%のコスト削減を実現、1時間アイドル後は自動停止
• •2026年3月リリースのQwen 3.5-4B（Apache 2.0ライセンス）をOllama＋Open WebUIで動かし、thinkingモードで推論過程も確認可能