Jalankan AI Coding Assistant Lokal dengan Ollama

by Marcus Chen
Jalankan AI Coding Assistant Lokal dengan Ollama

Masalah: API OpenAI Mahal dan Kode Kamu Bocor ke Server Lain

Kamu lagi ngoding, butuh bantuan debug atau generate boilerplate, terus buka ChatGPT atau GitHub Copilot. Paste kode. Tunggu. Dapat jawaban.

Proses itu ada dua masalah besar:

  1. Biaya — kalau kamu pakai API OpenAI langsung, token habis cepat. Apalagi kalau kamu kirim context panjang berkali-kali dalam satu sesi.
  2. Privasi — kode yang kamu paste itu dikirim ke server OpenAI, Anthropic, atau Microsoft. Kalau kamu kerja di proyek client atau startup yang belum launch, itu risiko nyata.

Solusinya: jalankan model AI sendiri di laptop. Dengan Ollama, kamu bisa pull dan run model seperti codellama, deepseek-coder, atau qwen2.5-coder — semuanya lokal, offline, dan gratis setelah download.

Artikel ini akan tunjukkan cara setup Ollama dari nol, integrasikan ke editor lewat REST API, dan buat workflow coding assistant yang benar-benar bisa dipakai sehari-hari.


Kenapa Ollama, Bukan yang Lain?

Ada beberapa opsi untuk jalankan LLM lokal: LM Studio, llama.cpp langsung, Jan.ai. Gue pilih Ollama karena:

  • CLI-first — cocok untuk developer yang hidup di terminal.
  • REST API built-in — langsung bisa di-hit dari script, editor plugin, atau aplikasi kamu.
  • Model management mudah — ollama pull codellama selesai. Tidak perlu download GGUF manual dan konfigurasi path.
  • Cross-platform — jalan di macOS, Linux, dan Windows (WSL2).

Kekurangannya: butuh RAM yang cukup. Model 7B parameter butuh sekitar 4–5 GB RAM. Model 13B butuh 8–10 GB. Kalau laptop kamu 8 GB RAM, pakai model 7B saja dulu.


Install dan Setup Ollama

macOS / Linux

curl -fsSL https://ollama.com/install.sh | sh

Setelah install, verifikasi:

ollama --version
# ollama version is 0.3.x

Windows

Download installer dari ollama.com dan jalankan. Ollama akan berjalan sebagai background service.

Pull Model Coding

Untuk coding assistant, rekomendasi gue adalah qwen2.5-coder:7b — ukurannya reasonable dan hasilnya bagus untuk Python, JavaScript, Go, dan PHP:

ollama pull qwen2.5-coder:7b

Proses download sekitar 4.7 GB. Sambil nunggu, kamu bisa pull model alternatif di terminal lain:

# Alternatif: lebih ringan (~3.8 GB)
ollama pull deepseek-coder:6.7b

# Alternatif: kalau RAM kamu 16 GB+
ollama pull codellama:13b

Cek model yang sudah ter-install:

ollama list
# NAME                    ID              SIZE    MODIFIED
# qwen2.5-coder:7b        ...             4.7 GB  2 minutes ago

Test Cepat di Terminal

ollama run qwen2.5-coder:7b "Tulis fungsi Python untuk validasi email dengan regex"

Kalau muncul kode Python di terminal, setup kamu berhasil.


Gunakan REST API Ollama untuk Integrasi

Ollama expose REST API di http://localhost:11434 secara default. Ini yang bikin dia powerful — kamu bisa integrasikan ke tool apa pun.

Hit API Langsung dengan curl

curl http://localhost:11434/api/generate \
  -d '{
    "model": "qwen2.5-coder:7b",
    "prompt": "Jelaskan apa itu database connection pooling dalam 3 kalimat",
    "stream": false
  }'

Response:

{
  "model": "qwen2.5-coder:7b",
  "response": "Connection pooling adalah teknik...",
  "done": true
}

Script Python untuk Coding Assistant Sederhana

Buat file ask.py — ini yang gue pakai sehari-hari dari terminal:

#!/usr/bin/env python3
import sys
import json
import urllib.request

OLLAMA_URL = "http://localhost:11434/api/generate"
MODEL = "qwen2.5-coder:7b"

SYSTEM_PROMPT = """Kamu adalah coding assistant. Jawab dalam Bahasa Indonesia.
Kalau ada kode, tulis dalam code block. Jawab singkat dan langsung ke inti."""

def ask(prompt: str) -> str:
    payload = {
        "model": MODEL,
        "prompt": f"{SYSTEM_PROMPT}\n\nPertanyaan: {prompt}",
        "stream": False
    }
    
    data = json.dumps(payload).encode("utf-8")
    req = urllib.request.Request(
        OLLAMA_URL,
        data=data,
        headers={"Content-Type": "application/json"}
    )
    
    with urllib.request.urlopen(req) as response:
        result = json.loads(response.read())
        return result["response"]

if __name__ == "__main__":
    if len(sys.argv) < 2:
        print("Usage: python ask.py 'pertanyaan kamu'")
        sys.exit(1)
    
    question = " ".join(sys.argv[1:])
    print(ask(question))

Jalankan:

python ask.py "Apa perbedaan antara list dan tuple di Python?"

Script ini tidak pakai library eksternal — pure stdlib Python. Langsung jalan tanpa pip install apa pun.


Integrasi ke VS Code dengan Continue

Kalau kamu mau AI assistant langsung di editor, pakai extension Continue (continue.dev). Ini open-source, support Ollama sebagai backend, dan tidak kirim kode ke mana pun.

Install Continue

  1. Buka VS Code
  2. Cari extension "Continue" di marketplace
  3. Install

Konfigurasi untuk Ollama

Setelah install, buka file konfigurasi Continue. Tekan Cmd+Shift+P (atau Ctrl+Shift+P), ketik "Continue: Open config.json".

Ganti isinya dengan:

{
  "models": [
    {
      "title": "Qwen2.5 Coder (Local)",
      "provider": "ollama",
      "model": "qwen2.5-coder:7b",
      "apiBase": "http://localhost:11434"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Qwen2.5 Coder Autocomplete",
    "provider": "ollama",
    "model": "qwen2.5-coder:7b",
    "apiBase": "http://localhost:11434"
  },
  "allowAnonymousTelemetry": false
}

Sekarang kamu bisa:

  • Highlight kode → klik kanan → "Ask Continue" untuk explain atau refactor
  • Cmd+I untuk inline edit
  • Sidebar chat untuk tanya-jawab dengan context file yang sedang dibuka

Gotcha: Pertama kali kamu buka Continue setelah konfigurasi, mungkin muncul error "model not found". Pastikan Ollama service jalan dengan ollama serve di terminal terpisah kalau kamu di Linux. Di macOS, Ollama biasanya sudah jalan sebagai background process setelah install.


Buat Workflow: Code Review Otomatis dari Terminal

Ini use case yang gue pakai sebelum commit. Daripada push kode yang ada bug obvious, minta AI review dulu.

Buat file review.sh:

#!/bin/bash
# Usage: ./review.sh file.py
# atau: git diff HEAD~1 | ./review.sh

if [ -p /dev/stdin ]; then
    # Input dari pipe (git diff)
    CODE=$(cat)
else
    # Input dari file
    if [ -z "$1" ]; then
        echo "Usage: $0 <file> atau git diff | $0"
        exit 1
    fi
    CODE=$(cat "$1")
fi

PROMPT="Review kode berikut. Cari: bug obvious, security issue, dan code smell. Jawab singkat per poin.\n\n$CODE"

curl -s http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d "$(jq -n --arg model "qwen2.5-coder:7b" --arg prompt "$PROMPT" \
    '{model: $model, prompt: $prompt, stream: false}')" \
  | jq -r '.response'

Buat executable dan test:

chmod +x review.sh

# Review file spesifik
./review.sh app.py

# Review perubahan sebelum commit
git diff HEAD | ./review.sh

Script ini pakai jq untuk handle escaping JSON dengan benar — ini penting supaya kode dengan tanda kutip tidak break payload.

Gotcha yang gue kena: Kalau kamu tidak pakai jq dan langsung string interpolation di bash untuk JSON payload, kode yang mengandung double quote akan corrupt JSON-nya dan dapat error 400 dari Ollama API. Selalu pakai jq -n atau escape dengan benar.


Performa: Ekspektasi yang Realistis

Ini bukan GPT-4. Ini model 7B yang jalan di CPU atau GPU laptop kamu. Ekspektasi yang realistis:

Yang bagus:

  • Explain kode yang sudah ada
  • Generate boilerplate (CRUD endpoint, model class, test skeleton)
  • Refactor fungsi kecil
  • Debug error message yang kamu paste
  • Translate kode dari satu bahasa ke bahasa lain

Yang kurang:

  • Reasoning kompleks multi-step
  • Kode yang butuh pengetahuan library sangat spesifik atau baru
  • Arsitektur sistem yang kompleks

Kecepatan: Di MacBook M1 8GB RAM, qwen2.5-coder:7b generate sekitar 15–25 token per detik. Cukup untuk dipakai, tapi bukan instant. Kalau kamu punya GPU NVIDIA, Ollama akan otomatis pakai CUDA dan jauh lebih cepat.

Cek apakah Ollama pakai GPU:

ollama ps
# NAME                    ID      SIZE    PROCESSOR    UNTIL
# qwen2.5-coder:7b        ...     5.2 GB  100% GPU     4 minutes from now

Kalau kolom PROCESSOR menunjukkan GPU, kamu sudah pakai hardware acceleration.


Langkah Lanjutan

Setup dasar sudah jalan. Yang gue lakukan selanjutnya:

1. Tambahkan model untuk task berbeda:

# Model kecil untuk autocomplete cepat
ollama pull qwen2.5-coder:1.5b

# Model general untuk tanya-jawab non-coding
ollama pull llama3.2:3b

2. Buat alias di shell kamu supaya ask bisa dipanggil dari mana saja:

# Di ~/.zshrc atau ~/.bashrc
alias ask='python ~/scripts/ask.py'

Sekarang tinggal ketik ask "gimana cara parse CSV di Go" dari direktori mana pun.

3. Integrasikan ke Neovim kalau kamu pakai Neovim — plugin gen.nvim support Ollama dan lebih lightweight dari Continue.

4. Setup Ollama di server lokal kalau kamu punya home server atau NAS yang lebih powerful — semua device di network bisa pakai satu instance Ollama. Tinggal ganti apiBase dari localhost ke IP server kamu.

Intinya: kamu sudah punya coding assistant yang jalan offline, tidak kirim kode ke mana pun, dan tidak ada tagihan bulanan. Untuk solo developer atau indie hacker yang kerja di proyek sensitif, ini setup yang worth the effort.