Jalankan AI Coding Assistant Lokal dengan Ollama + Continue.dev

by Marcus Chen
Jalankan AI Coding Assistant Lokal dengan Ollama + Continue.dev

Masalahnya: API Mahal, Kode Bocor ke Cloud

Kamu lagi asik coding, terus GitHub Copilot tiba-tiba ngelag atau tagihan API OpenAI-mu melonjak karena lupa matiin autocomplete. Belum lagi soal privasi — setiap snippet yang kamu ketik dikirim ke server orang lain. Kalau kamu kerja di project klien atau startup yang sensitif datanya, ini bukan paranoia, ini risiko nyata.

Solusinya: jalankan AI coding assistant lokal di mesin sendiri. Gratis, privat, dan — kalau hardware kamu lumayan — responsnya bisa cukup cepat untuk daily use.

Tutorial ini pakai dua tool:

  • Ollama — runtime untuk jalanin LLM lokal (model kayak Llama 3, Mistral, CodeGemma)
  • Continue.dev — VS Code extension yang nyambungin editor kamu ke model Ollama

Target setup: kamu bisa tanya ke AI soal kode, minta autocomplete, dan review fungsi — semua offline, semua di laptop sendiri.


Kebutuhan Minimum Hardware

Sebelum install, cek dulu spek mesin kamu. Ini bukan soal "bisa jalan" tapi soal "bisa jalan dengan nyaman":

Model RAM Minimum GPU (opsional)
codegemma:2b 8 GB tidak perlu
codellama:7b 16 GB NVIDIA 6GB VRAM
deepseek-coder:6.7b 16 GB NVIDIA 6GB VRAM
llama3:8b 16 GB NVIDIA 8GB VRAM

Kalau RAM kamu 8 GB, pakai model 2b atau 3b dulu. Jangan forsir — model besar di RAM kecil bikin laptop kamu jadi pemanas ruangan.

Gotcha pertama: Ollama di macOS bisa pakai Apple Silicon (M1/M2/M3) dengan Metal acceleration. Ini jauh lebih cepat dari CPU-only. Kalau kamu pakai Mac M-series, kamu beruntung.


Install Ollama

macOS / Linux

# macOS
brew install ollama

# Linux (satu command)
curl -fsSL https://ollama.com/install.sh | sh

Windows

Download installer dari ollama.com — ada versi Windows yang sudah stable. Jalankan installer, terus buka PowerShell.

Verifikasi instalasi

ollama --version
# Output: ollama version 0.3.x

Sekarang pull model. Untuk permulaan, gue rekomendasiin codegemma:2b kalau RAM terbatas, atau deepseek-coder:6.7b kalau kamu punya 16 GB:

# Model ringan, cocok untuk 8 GB RAM
ollama pull codegemma:2b

# Model lebih capable, butuh 16 GB RAM
ollama pull deepseek-coder:6.7b

Proses download tergantung koneksi — model 2B sekitar 1.6 GB, model 7B sekitar 4-5 GB. Download sekali, pakai selamanya offline.

Test model via terminal

ollama run codegemma:2b
>>> Tulis fungsi Python untuk cek apakah sebuah string adalah palindrom

Kalau responnya muncul (meski lambat di hardware lama), instalasi berhasil. Tekan Ctrl+D untuk keluar.

Jalankan Ollama sebagai server

Ollama expose REST API di localhost:11434. Kamu perlu jalankan server ini supaya Continue.dev bisa konek:

ollama serve

Biarkan terminal ini terbuka. Di macOS, kalau kamu install via brew, Ollama biasanya auto-start sebagai background service. Cek dengan:

curl http://localhost:11434/api/tags
# Response: JSON list model yang sudah kamu pull

Install dan Konfigurasi Continue.dev

Buka VS Code, pergi ke Extensions (Ctrl+Shift+X), cari Continue, install extension dari Continue.dev (publisher: Continue).

Setelah install, ikon Continue muncul di sidebar kiri. Klik, dan Continue akan buka panel chat di sisi kanan editor.

Edit config.json

Ini bagian paling penting. Tekan Ctrl+Shift+P, ketik Continue: Open config.json, Enter.

Replace isinya dengan konfigurasi ini:

{
  "models": [
    {
      "title": "DeepSeek Coder Local",
      "provider": "ollama",
      "model": "deepseek-coder:6.7b",
      "apiBase": "http://localhost:11434"
    },
    {
      "title": "CodeGemma 2B (Ringan)",
      "provider": "ollama",
      "model": "codegemma:2b",
      "apiBase": "http://localhost:11434"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Autocomplete",
    "provider": "ollama",
    "model": "codegemma:2b",
    "apiBase": "http://localhost:11434"
  },
  "tabAutocompleteOptions": {
    "debounceDelay": 500,
    "maxPromptTokens": 1024,
    "multilineCompletions": "auto"
  },
  "contextProviders": [
    {
      "name": "code",
      "params": {}
    },
    {
      "name": "docs",
      "params": {}
    },
    {
      "name": "diff",
      "params": {}
    },
    {
      "name": "terminal",
      "params": {}
    },
    {
      "name": "problems",
      "params": {}
    },
    {
      "name": "folder",
      "params": {}
    },
    {
      "name": "codebase",
      "params": {}
    }
  ],
  "slashCommands": [
    {
      "name": "edit",
      "description": "Edit kode yang diseleksi"
    },
    {
      "name": "comment",
      "description": "Tambah komentar ke kode"
    },
    {
      "name": "share",
      "description": "Export conversation ke markdown"
    },
    {
      "name": "cmd",
      "description": "Generate shell command"
    }
  ]
}

Simpan file. Continue akan auto-reload konfigurasi.

Gotcha kedua: Kalau kamu pakai nama model yang berbeda (misal kamu pull deepseek-coder:6.7b-instruct-q4_K_M), pastikan nama di config.json persis sama dengan output ollama list. Typo di sini bikin Continue error tanpa pesan yang jelas.

# Cek nama model yang tersedia
ollama list

# Output contoh:
# NAME                           ID              SIZE    MODIFIED
# deepseek-coder:6.7b            abc123def456    3.8 GB  2 hours ago
# codegemma:2b                   xyz789ghi012    1.6 GB  3 hours ago

Cara Pakai di VS Code

Chat dengan konteks kode

Seleksi kode di editor, tekan Ctrl+L (atau Cmd+L di Mac) — Continue langsung buka chat dengan kode yang kamu seleksi sebagai konteks. Tanya apa saja:

// Kamu seleksi fungsi ini:
function calculateDiscount(price, userType) {
  if (userType === 'premium') return price * 0.8;
  if (userType === 'student') return price * 0.9;
  return price;
}

// Lalu tanya di Continue:
"Tambahkan validasi input dan tulis unit test untuk fungsi ini"

Inline edit

Seleksi kode, tekan Ctrl+I, ketik instruksi. Continue langsung edit kode di tempat dengan diff view — kamu bisa accept atau reject perubahannya.

Tab autocomplete

Ini berjalan otomatis di background. Saat kamu ngetik, Continue akan suggest completion yang bisa kamu accept dengan Tab. Sama kayak Copilot, tapi lokal.

Gotcha ketiga: Autocomplete dengan model 2B kadang lambat di CPU-only — delay 2-5 detik per suggestion. Ini normal. Kalau mengganggu, naikkan debounceDelay di config jadi 1000 supaya suggestion tidak terlalu sering trigger.

Context providers

Di chat, kamu bisa tambah konteks spesifik dengan @:

  • @codebase — index seluruh project kamu
  • @diff — kirim git diff sebagai konteks (bagus untuk review sebelum commit)
  • @terminal — output terminal terakhir
  • @problems — error dari VS Code Problems panel

Contoh workflow nyata: kamu dapat error di terminal, copy-paste ke chat Continue dengan @terminal, tanya "kenapa error ini muncul dan gimana fixnya?"


Benchmark Jujur: Ekspektasi yang Realistis

Gue harus jujur di sini supaya kamu tidak kecewa.

Yang bagus:

  • Privacy 100% — tidak ada kode yang keluar dari laptop
  • Gratis selamanya setelah download
  • Bisa jalan offline total
  • Untuk task sederhana (generate boilerplate, explain kode, refactor fungsi kecil) — hasilnya solid

Yang perlu kamu terima:

  • Model lokal 7B tidak secanggih GPT-4 atau Claude Sonnet. Untuk arsitektur kompleks atau debugging multi-file yang rumit, hasilnya lebih sering meleset.
  • Kecepatan bergantung hardware. Di MacBook M2 dengan 16 GB RAM, deepseek-coder:6.7b respond dalam 3-8 detik per token burst. Di laptop Windows dengan CPU Intel i5 dan tanpa GPU, bisa 15-30 detik.
  • Konteks window lebih kecil. Model lokal biasanya handle 4K-8K token, bukan 128K seperti model cloud premium.

Setup ini paling cocok untuk: daily coding tasks, belajar, project personal, atau situasi di mana kamu tidak bisa (atau tidak mau) kirim kode ke cloud.


Troubleshooting Umum

Continue tidak konek ke Ollama:

# Pastikan Ollama server jalan
curl http://localhost:11434/api/tags

# Kalau connection refused, jalankan:
ollama serve

Model lambat banget:

# Coba model yang lebih kecil
ollama pull codegemma:2b
# Update config.json untuk pakai model ini

RAM habis, laptop freeze: Ollama by default keep model di memory setelah pertama kali load. Kalau kamu mau unload manual:

# Unload model dari memory
ollama stop deepseek-coder:6.7b

Error "model not found" di Continue:

# Verifikasi nama model exact
ollama list
# Copy-paste nama persis ke config.json

Yang Gue Lakuin Sekarang

Setup ini sudah gue pakai sebagai primary coding assistant untuk project-project yang datanya tidak bisa keluar. Workflow gue:

  1. Ollama serve jalan sebagai background service (auto-start via systemd di Linux)
  2. Model utama: deepseek-coder:6.7b untuk chat, codegemma:2b untuk autocomplete
  3. Kebiasaan baru: sebelum git commit, selalu @diff ke Continue dan minta review singkat

Langkah lanjutan yang bisa kamu eksplorasi:

  • Coba model Qwen2.5-Coder:7b — per benchmark komunitas, ini salah satu model coding terbaik di ukuran 7B saat ini
  • Setup Open WebUI di atas Ollama kalau kamu mau interface chat ala ChatGPT yang bisa diakses dari browser
  • Integrasikan Ollama dengan Neovim pakai plugin gen.nvim kalau kamu bukan pengguna VS Code

Total biaya setup ini: Rp 0. Total data yang keluar ke cloud: 0 byte.