AI Yakında Sıradan Dile Dayalı Kod Yazabilir.
Microsoft, en iyi metin oluşturmasıyla bilinen GPT-3’ü programlamaya getirme planlarını açıkladı. CEO Satya Nadella, “Kod kendi kendine yazıyor” diyor.
Son yıllarda araştırmacılar, programlama dilleri arasındaki çeviriyi geliştirmek veya sorunları otomatik olarak düzeltmek için yapay zekayı kullandılar. Örneğin, yapay zeka sistemi DrRepair’in hata mesajlarını ortaya çıkaran çoğu sorunu çözdüğü gösterilmiştir. Ancak bazı araştırmacılar, yapay zekanın uzman olmayanların basit açıklamalarına dayalı programlar yazabileceği günü hayal ediyor.
Salı günü, Microsoft ve OpenAI, metin üretmek için dünyanın en gelişmiş modellerinden biri olan GPT-3’ü doğal dil açıklamalarına dayalı programlamaya getirme planlarını paylaştı. Bu, Microsoft’un geçen yıl OpenAI’ye 1 milyar dolar yatırım yapmasından ve GPT-3’e özel lisans hakları kazanmasından bu yana gerçekleştirilen ilk GPT-3 ticari uygulamasıdır.
Microsoft CEO’su Satya Nadella, şirketin Build geliştirici konferansında bir açılış konuşmasında, “Ne yapmak istediğinizi doğal dilde açıklayabilirseniz, GPT-3, aralarından seçim yapabileceğiniz en uygun formüllerin bir listesini oluşturacaktır,” dedi. “Kod kendi kendine yazıyor.”
Microsoft Başkan Yardımcısı Charles Lamanna, WIRED’e GPT-3’ün sunduğu gelişmişliğin, insanların karmaşık zorlukların üstesinden gelmesine yardımcı olabileceğini ve çok az kodlama deneyimi olan insanları güçlendirebileceğini söyledi. GPT-3, doğal dili, Microsoft’un Mart ayında sunduğu Excel komutlarına benzer oldukça basit bir programlama dili olan PowerFx’e çevirecek.
OpenAI CEO’su Sam Altman, geçtiğimiz yıl Microsoft Build’ta , otomatik olarak Python kodu satırları oluşturan GitHub koduyla hassas bir şekilde ayarlanmış bir dil modelinin tanıtımını yaptı . WIRED’in geçen ay ayrıntılı olarak açıkladığı gibi, SourceAI gibi girişimler de kod oluşturmak için GPT-3 kullanıyor. IBM geçen ay, 50’den fazla programlama dilinden 14 milyon kod örneğine sahip Project CodeNet’in, bir otomotiv şirketi için milyonlarca satır Java kodu içeren bir programı güncellemek için gereken süreyi bir yıldan bir aya nasıl kısaltabileceğini gösterdi.
Microsoft’un yeni özelliği, Baidu , Google , Microsoft, Nvidia ve Salesforce gibi büyük teknoloji şirketleri tarafından web’den kazınmış metin eğitim verilerini kullanarak büyük dil modelleri oluşturmak için kullanılan Transformer olarak bilinen bir sinir ağı mimarisine dayanmaktadır . Bu dil modelleri sürekli olarak büyüyor. Google’ın 2018’de piyasaya sürülen bir dil modeli olan BERT’nin en büyük sürümü, sinir ağlarının yapı taşı olan 340 milyon parametreye sahipti. Bir yıl önce piyasaya sürülen GPT-3’ün 175 milyar parametresi var.
Ancak bu tür çabaların kat etmesi gereken uzun bir yol var. Yakın tarihli bir testte, en iyi model, bir grup AI araştırmacısı tarafından derlenen başlangıç programlama zorluklarında zamanın sadece yüzde 14’ünü başardı.
Yine de bu çalışmayı yürüten araştırmacılar, testlerin “makine öğrenimi modellerinin kodlamayı öğrenmeye başladığını” kanıtladığı sonucuna varıyor.
Makine öğrenimi topluluğuna meydan okumak ve büyük dil modellerinin programlamada ne kadar iyi olduğunu ölçmek için geçen hafta bir grup yapay zeka araştırmacısı Python ile otomatik kodlama için bir kıyaslama yaptı. Bu testte, OpenAI’nin amiral gemisi modellerine benzer bir mimariyle tasarlanmış açık kaynaklı bir dil modeli olan GPT-Neo, GPT-3’ten daha iyi performans gösterdi. Makalenin baş yazarı Dan Hendrycks, bunun GPT-Neo’nun ortak kodlama projeleri için popüler bir programlama havuzu olan GitHub’dan toplanan veriler kullanılarak ince ayar yapılmasından kaynaklandığını söylüyor.
Araştırmacılar ve programcılar, dil modellerinin kodlamayı nasıl basitleştirebileceği hakkında daha fazla şey öğrendikçe, Hendrycks büyük ilerlemeler için fırsatlar olacağına inanıyor.
Hendrycks, Transformer mimarisine dayalı büyük dil modellerinin uygulamalarının programcıların işlerini değiştirmeye başlayabileceğini düşünüyor. Başlangıçta, bu tür modellerin uygulanmasının, daha genelleştirilmiş kodlama biçimlerine ayrılmadan önce belirli görevlere odaklanacağını söylüyor. Örneğin, bir programcı bir problemin çok sayıda test örneğini bir araya getirirse, bir dil modeli farklı çözümler öneren kodlar üretebilir ve ardından bir insanın en iyi eylem planına karar vermesine izin verebilir. Bu, insanların kodlama şeklini değiştiriyor çünkü “bir şey geçene kadar spam göndermeye devam etmiyoruz” diyor.