Docker, AI ve Model Runner: Umut veya Hayal Kırıklığı Glimmer?
Başlangıçta Nisan Hack şakası için geçen haftanın duyurusunu düşündüm – ama aslında doğru: Docker Desktop, 4.40 sürümünden harika dil modellerini (LLMS) destekliyor. Bu makalede, bunun ne anlama geldiğini, nasıl çalıştığını ve her şeyin stratejik olarak nasıl sınıflandırılabileceğini açıklıyorum.
Golo Roden, yerel web GmbH'nin kurucusu ve CTO'sudur. Olaylara ve hizmetlere dayalı olarak dağıtılmış mimarilere özellikle dikkat ederek web ve bulut uygulamalarının ve arıların anlayışı ve geliştirilmesi ile ilgilidir. Yol gösterici ilkesi, yazılımın gelişiminin kendi başına bir son olmaması, ancak her zaman aşağıda bir profesyonellik izlemesi gerektiğidir.
Docker için böyle bir şey. “Docker” yazılımı, son 15 yılda neredeyse gece boyunca piyasada devrim yarattı. Dağıtımlar temelde eskisinden farklı çalışıyor, Kubernetes muhtemelen formda yoktu ve web dünyasının ve bulutun çoğu tamamen farklı görünüyor. Bunca yıldan sonra, Docker Inc. bir utançtır, çünkü Docker çok başladı ve olumlu değişti, ancak şirketin hoşuna gideceğinden faydalanamadı.
Önerilen editoryal içerik
Rızanızla, burada harici bir YouTube videosu (Google Ireland Limited) burada davet edilir.
YouTube videosu her zaman yüklenir
YouTube videosu artık yüklüyor
Docker ile yerel LLM: İşte böyle çalışıyor! // Almanca
Adil, Docker'ın birçok yerde zeki yapmadığını söylemelisiniz – geçmişe bakıldığında, bunu söylemek her zaman kolaydır. Bununla birlikte, ilan edilen ve daha sonra tekrar düşen çok fazla yarı yaklaşım vardı. Bu bağlamda, mevcut reklamı da değerlendirmelisiniz. Ben daha sonra gelirim.
Her şey yeni … 1 Nisan?
Duyurunun kendisiyle başlayalım. Docker, 1 Nisan'da Docker masaüstünün yeni bir sürümünü duyurdu (birçoğunun bir şaka hakkında otomatik olarak düşündüğü bir tarih). Bu sürüm yeni bir işlevsellik getiriyor: büyük dil modellerini doğrudan Docker aracılığıyla elde etmek ve gerçekleştirmek mümkün olan model koşucusu. Docker şimdi yapay zekaya doğru ilerliyor.
Peki Docker Model Runner tam olarak nedir? Başlangıçta önemlidir: Bu işlev, Docker'ın kendileri tarafından değil, Docker masaüstünün bir parçasıdır. Yani öyle Olumsuz Ana ürünün genişlemesi, ancak en eksiksiz masaüstü Docker paketinde bir işlev. Özellikle, komut satırı aracı, bir uzantı aracılığıyla ve komut hızının altındaki kontrolleri genişletir. docker model. Bu komutlar sesli modellerle etkileşime hizmet eder.
Özellikle, bu: ile docker model pull Lama, Mistral, Phi, Gemma veya Deepseek gibi yerel makineye büyük bir dilsel model indirilebilir. Bu modeller Docker görüntülerine benzer şekilde OCI formatında mevcuttur ve bu nedenle Hub Docker gibi Docker kayıtları tarafından elde edilebilir. Docker'ın gerçekte kullandığı tam olarak budur: Bu modellerin sayısı Hub Docker'daki yeni “AI” adında mevcuttur. Bu, Docker LLM'lerini hala Docker'ı kullanan geliştiriciler için erişilebilir hale getirir. Başlangıçta mantıklı.
LLMS'i indirin ve başlatın
Komutla indirilen bir model başlatırsanız docker model runİki seçenek vardır: ya doğrudan komut satırında modelle veya derhal teslim edildiğiniz ve doğrudan bir yanıtın yayıldığı etkileşimli olmayan modda sohbet etmenin mümkün olduğu etkileşimli modda yapabilirsiniz. Bu, bir oturum açmak zorunda kalmadan kısa ve hedeflenen istekler için uygundur.
Buna ek olarak, Docker Desktop ayrıca OpenI spesifikine dayanan HTTP'ye dayalı bir API sunar. Bu şekilde, uygulamalarınız, modelin nerede ve nasıl gerçekleştirildiği konusunda endişelenmenize gerek kalmadan bir vokal modeline bağlanabilir. Docker yapar. Tamlık için, bu fonksiyonun şu anda sadece macOS altında Apple silikon çip ile çalıştığı söylenmelidir. Linux için destek yok, bu en azından Windows için duyuruldu. Bununla birlikte, MacOS altında, kullanın gerçekten mükemmel çalışır: Docker Desktop 4.40 sürümüne yüklenir kurulmaz, ek yapılandırma veya özel yapılandırma olmadan doğrudan başlayabilirsiniz.
Bir aile ortamı olarak Docker
Docker'ı bilen geliştiricilere tanıdık geliyor. Yeni bir araç yok, iş akışlarının yeni bir entegrasyonu sezgisel değildir ve geliştirme, yerel testler veya geliştirme ortamındaki yapay zeka asistanları için temel olarak çok sayıda seçenek açar. Potansiyel olağanüstü, işlem basit. Modeller için indirme zamanına ek olarak – boyuta biraz bağlı olarak biraz gerektirebilir – her şey hızlı bir şekilde kullanıma hazırdır. API anahtarları gerekli değildir, kullanım tamamen yerel ve çevrimdışıdır. Bu aynı zamanda bir avantajdır.
Ama her şey ikna edici değil. En küçük zayıflıklarla başlayalım ve en büyük eleştiri ile bitirelim. Her şeyden önce, işlevsellik sadece hedef grubun şu anda önemli ölçüde azaldığı bir kısıtlama olan Apple Silikon ile macOS üzerinde çalışır. İkincisi, grafik yüzeyi yoktur. İşlevle çalışmak istiyorsanız, OPEENI API biçimini destekleyen komut satırını veya üçüncü taraf kullanıcı arayüzünü kullanın, ancak çok şey var.
Uyarlanabilirlik eksikliği bir şekilde daha ciddidir: modeller Hub Docker'da yayınlanma şeklidir. Şu anda ayrı bir hisse veya daha yanlış bir ortam yok. Ayrıca, başka eğitim veya küçülme yoktur. Herkes için uygun bir çözümdür. Bu adapte olursa, bu iyidir – aksi takdirde, kalan her şey model koşucunun bu uygulama için uygun olmamasıdır. Bu bazı senaryolar için yeterli olabilir, ancak tam bir mlop değildir.
OCI evet, ama kap yok
Merkezi sorunu, yani yerel yürütmeyi alıyorum. Fikir iyi geliyor – yerel olarak, çevrimdışı, veri koruma – -amica. Peki yürütme teknik olarak nasıl çalışır? Model bir kapta çalışıyor mu? Cevap: Hayır. Model koşucunun kaplarla ilgisi yok. Docker masaüstüne entegre edilmiş Llama.cpp kütüphanesinin sadece ince bir sargısıdır. Bu, mevcut Docker kurulumlarını kullanabilme avantajına sahiptir. Bununla birlikte, Docker markasının gerçek çekirdeği olan konteyner teknolojisi için içerik yoktur.
Tabii ki, yerel bir yürütmenin bir kaptan daha hızlı olduğunu iddia edebilirsiniz. Doğru. Ama aynı zamanda: her şey yerel makine ile sınırlıdır. Dağıtım yaklaşımı yoktur. Docker masaüstü genellikle orada kullanılmadığından, işlev sunucu işlemleri için uygun değildir. Bu nedenle, yapay zekanın dağıtımı için yeni bir araç değil, yerel kullanım için saf bir konfor işlevidir. Lama.cpp çevresindeki bir zarftan başka bir şey değildir.
Ve burada katma değer sorusunu merak ediyorum. Lama.cpp kullanan ve rahat kullanımı etkinleştiren araçlar, sadece iki örnek atamak için Ollama veya LM stüdyosu gibi uzun süredir mevcuttur. İkincisi ayrıca bir grafik kullanıcı arayüzü sunar. Yani dünya Docker'ın bu boşluğu doldurmasını beklemedi. Bu nedenle koşucu modeli saf bir ürün “Ben de” gibi görünüyor, ama çok geç. En azından gerçek bir yenilik göremiyorum.
Docker bunu neden yapıyor?
Bu çemberi kapatıyor: Docker (başlangıçta açıklandığı gibi) sürdürülebilir bir iş modeli oluşturmak için yıllarca zorluk çekti. Ve işlev şu anda ücretsiz olsa bile, hype'dan yararlanmayı umarak bir şekilde “AI” anahtar kelimesini bağlama girişimi gibi görünüyor. Runner modeli resmen araç kümesine uyuyor, ancak orijinal ve etkili Docker konseptiyle değil içerik açısından. Büyük bir olasılık burada olurdu – ancak en sıkıcı varyant uygulandı.
Ayrıca çok sayıda hata var. Bir örnek vermek için: Bir model indirdikten sonra, “0 Mbyte” bazen indirme boyutu olarak görüntülenir. Bu önemsiz hatalar, kalite garantisine ışık tutmaz. Ve küçük bir başlangıçtan değil, iki veya muhtemelen üç haneli aralıkta yüzlerce çalışanı ve satışları olan bir şirketten bahsediyoruz. Bu temel işlevler başarısız olursa, sorular soruları gündeme getirir: yatırılan kalite veya çaba bilinci.
Model koşucusu bitmemiş görünüyor, sanki sadece AI trenine bir şekilde atlamak için yayınlanmış gibi. Bu iyi bir işaret değil. Docker yeni standartlar oluşturmak yerine konfor alanında kalır. Ortaya çıkan şey, düşük etkiye sahip minimum bir versiyon. Bu strateji daha önce hiç işe yaramadı. Yenilik, Docker'ın markasını sulamaya başladığıdır. Konteynerizasyon hakkında sürekli düşünmek yerine, kaplarla ilgisi olmayan yapay bir zeka fonksiyonu sunulmaktadır. Bu hayal kırıklığı yaratıyor.
Sonuç: Apple Silikon ile Maco'da Desktop Docker'ı kullanıyorsanız, güncellemeyi 4.40 sürümüne yükleyebilir ve Model Runner'ı deneyebilirsiniz. Muhtemelen birkaç dakika deneyimleyeceksiniz – benim gibi – ve sonra “oldukça güzel, ama gerçekte alakasız” işlevini koyacaksınız. En azından şu anda onu kalıcı olarak kullanmanız için hiçbir neden görmüyorum. Belki burada hayal gücünü özlüyorum.
Nasıl görüyorsun? İşlevi zaten denediniz mi? Bunu herhangi bir şekilde pratik buluyor musunuz? Yoksa değerlendirmemi paylaşıyor musunuz? Lütfen yorumlarda yazın, fikrinizi bekleyemem!
(harita)