llama.cpp, geniş donanım çeşitliliğinde yerel ya da bulutta LLM inference çalıştırmayı kolaylaştıran açık kaynaklı bir C/C++ kütüphanesidir. Resmi GitHub deposunda minimal kurulumla yüksek performans hedefi, farklı donanımlarda çalışma ve istemci ya da sunucu taraflı kullanım için topluluk ekosistemi vurgulanır. Yerel model denemeleri, geliştirici entegrasyonları ve kendi inference altyapısını daha kontrollü kurmak isteyen ekipler için uygundur.