Pada bulan Desember 2015, Elon Musk, Sam Altman, dan investor lainnya mengumumkan pembentukan OpenAI dan menjanjikan lebih dari US$1 miliar untuk usaha tersebut. Organisasi tersebut menyatakan akan "freely collaborate" dengan institusi dan peneliti lain dengan membuat paten dan penelitiannya terbuka untuk umum.
Pada tanggal 27 April 2016, OpenAI merilis versi beta publik "OpenAI Gym", platformnya untuk penelitian pembelajaran penguatan.
Pada tanggal 5 Desember 2016, OpenAI merilis "Universe", sebuah platform perangkat lunak untuk mengukur dan melatih kecerdasan umum AI di seluruh pasokan game, situs web, dan aplikasi dunia lainnya.
Pada 21 Februari 2018, Musk mengundurkan diri dari kursi dewannya, dengan alasan "potensi konflik (kepentingan) di masa depan" dengan pengembangan Tesla AI untuk mobil self-driving, tetapi tetap menjadi donor.
Pada tahun 2019, OpenAI beralih dari nirlaba menjadi "dibatasi" untuk laba, dengan batas laba ditetapkan menjadi 100X untuk investasi apa pun. Perusahaan membagikan ekuitas kepada karyawannya dan bermitra dengan Microsoft Corporation, yang mengumumkan paket investasi sebesar US$1 miliar ke dalam perusahaan. OpenAI kemudian mengumumkan niatnya untuk melisensikan teknologinya secara komersial, dengan Microsoft sebagai mitra pilihannya.
Pada tahun 2020, OpenAI berkantor pusat di Distrik Misi San Francisco, dan berbagi bekas gedung Pioneer Trunk Factory dengan Neuralink, perusahaan lain yang didirikan bersama oleh Musk.
Pada Juni 2020, OpenAI mengumumkan GPT-3, model bahasa yang dilatih untuk triliunan kata dari Internet. Ia juga mengumumkan bahwa API terkait, yang diberi nama sederhana "API", akan menjadi jantung dari produk komersial pertamanya. GPT-3 ditujukan untuk menjawab pertanyaan dengan bahasa alami, tetapi juga dapat menerjemahkan antar bahasa dan menghasilkan teks improvisasi secara koheren.
Pada Januari 2021, OpenAI memperkenalkan DALL-E. Satu tahun kemudian, sistem terbaru mereka, DALL·E 2, menghasilkan gambar yang lebih realistis dan akurat dengan resolusi 4x lebih besar.
Pada November 2022, OpenAI membuka ChatGPT yang berinteraksi menggunakan percakapan untuk masyarakat umum.
Orang-orang yang terlibat
CEO dan salah satu pendiri: Sam Altman, mantan presiden akselerator startup Y Combinator
Presiden dan salah satu pendiri: Greg Brockman, mantan CTO, karyawan ke-3 Stripe
Kepala Ilmuwan dan salah satu pendiri Ilya Sutskever, mantan pakar Google dalam pembelajaran mesin
Chief Technology Officer: Mira Murati, sebelumnya di Leap Motion dan Tesla, Inc.
Chief Operating Officer: Brad Lightcap, sebelumnya di Y Combinator dan JPMorgan Chase
Pendukung proyek lainnya termasuk:
Reid Hoffman, salah satu pendiri LinkedIn
Peter Thiel, salah satu pendiri
PayPalJessica Livingston, mitra pendiri Y Combinator
Perusahaan:
Infosys, salah satu perusahaan IT terbesar di India
Divisi layanan cloud Microsoft
Kelompok ini dimulai pada awal Januari 2016 dengan sembilan peneliti. Menurut Wired, Brockman bertemu dengan Yoshua Bengio, salah satu "bapak pendiri" dari gerakan pembelajaran mendalam, dan menyusun daftar "peneliti terbaik di lapangan".
Peter Lee dari Microsoft menyatakan bahwa biaya peneliti AI top melebihi biaya prospek quarterback NFL teratas. Sementara OpenAI membayar gaji tingkat perusahaan (bukan tingkat nirlaba), saat ini OpenAI tidak membayar gaji peneliti AI yang sebanding dengan Facebook atau Google.
Namun demikian, Sutskever menyatakan bahwa dia bersedia meninggalkan Google untuk OpenAI "sebagian karena kelompok orang yang sangat kuat dan, sebagian besar, karena misinya." Brockman menyatakan bahwa "hal terbaik yang dapat saya bayangkan lakukan adalah mendekatkan umat manusia untuk membangun AI nyata dengan cara yang aman." Peneliti OpenAI Wojciech Zaremba menyatakan bahwa dia menolak tawaran "gila batas" dua hingga tiga kali lipat dari nilai pasarnya untuk bergabung dengan OpenAI.
Produk dan aplikasi
Penelitian OpenAI cenderung berfokus pada pembelajaran penguatan. OpenAI dipandang sebagai pesaing penting bagi DeepMind.
1. Gym
Gym bertujuan untuk menyediakan tolok ukur kecerdasan umum yang mudah diatur dengan berbagai macam lingkungan yang berbeda—agak mirip, tetapi lebih luas daripada, Tantangan Pengenalan Visual Skala Besar ImageNet yang digunakan dalam penelitian pembelajaran yang diawasi—dan berharap untuk menstandarkan cara di mana lingkungan didefinisikan dalam publikasi penelitian AI, sehingga penelitian yang diterbitkan menjadi lebih mudah direproduksi.
Proyek mengklaim untuk menyediakan pengguna dengan antarmuka yang sederhana. Mulai Juni 2017, Gym hanya dapat digunakan dengan Python. Mulai September 2017, situs dokumentasi Gym tidak dikelola, dan pekerjaan aktif difokuskan pada halaman GitHub-nya.
2. RoboSumo
Dalam "RoboSumo", robot "metalearning" humanoid virtual awalnya tidak memiliki pengetahuan tentang cara berjalan, dan diberi tujuan untuk belajar bergerak, dan mendorong agen lawan keluar dari ring.
Melalui proses pembelajaran permusuhan ini, agen belajar bagaimana beradaptasi dengan kondisi yang berubah; ketika sebuah agen kemudian dikeluarkan dari lingkungan virtual ini dan ditempatkan di lingkungan virtual baru dengan angin kencang, agen tersebut bersiap untuk tetap tegak, menunjukkan bahwa ia telah belajar bagaimana menyeimbangkan dengan cara yang umum.
Igor Mordatch dari OpenAI berpendapat bahwa persaingan antar agen dapat menciptakan "perlombaan senjata" intelijen yang dapat meningkatkan kemampuan agen untuk berfungsi, bahkan di luar konteks persaingan.
3. Debate Game
Pada tahun 2018, OpenAI meluncurkan Debate Game, yang mengajarkan mesin untuk memperdebatkan masalah mainan di depan hakim manusia. Tujuannya adalah untuk meneliti apakah pendekatan semacam itu dapat membantu dalam mengaudit keputusan AI dan dalam mengembangkan AI yang dapat dijelaskan.
4. Dactyl
Dactyl menggunakan pembelajaran mesin untuk melatih Tangan Bayangan, tangan robot mirip manusia, untuk memanipulasi objek fisik. Ia belajar sepenuhnya dalam simulasi menggunakan algoritme pembelajaran penguatan dan kode pelatihan yang sama dengan OpenAI Five.
OpenAI menangani masalah orientasi objek dengan menggunakan pengacakan domain, sebuah pendekatan simulasi yang menghadapkan pelajar ke berbagai pengalaman daripada mencoba menyesuaikan diri dengan kenyataan.
Pengaturan untuk Dactyl, selain memiliki kamera pelacak gerak, juga memiliki kamera RGB untuk memungkinkan robot memanipulasi objek sewenang-wenang dengan melihatnya. Pada tahun 2018, OpenAI menunjukkan bahwa sistem tersebut mampu memanipulasi kubus dan prisma segi delapan.
Pada tahun 2019, OpenAI mendemonstrasikan bahwa Dactyl dapat memecahkan Rubik's Cube. Robot mampu memecahkan teka-teki 60% dari waktu. Objek seperti Kubus Rubik memperkenalkan fisika kompleks yang lebih sulit untuk dimodelkan.
OpenAI memecahkan ini dengan meningkatkan ketahanan Dactyl terhadap gangguan; mereka menggunakan teknik yang disebut Pengacakan Domain Otomatis (ADR), sebuah pendekatan simulasi di mana lingkungan yang semakin sulit dihasilkan tanpa henti. ADR berbeda dari pengacakan domain manual karena tidak memerlukan manusia untuk menentukan rentang pengacakan.
5. Generative models
GPT
Makalah asli tentang pra-pelatihan generatif (GPT) model bahasa ditulis oleh Alec Radford dan rekannya, dan diterbitkan dalam pracetak di situs web OpenAI pada 11 Juni 2018.
Ini menunjukkan bagaimana model bahasa generatif mampu memperoleh pengetahuan dunia dan memproses ketergantungan jangka panjang dengan pra-pelatihan pada korpus yang beragam dengan bentangan panjang teks yang berdekatan.
GPT-2
Generatif Pre-trained Transformer 2, umumnya dikenal dengan singkatannya GPT-2, adalah model bahasa transformer tanpa pengawasan dan penerus GPT. GPT-2 pertama kali diumumkan pada Februari 2019, dengan hanya versi demonstratif terbatas yang awalnya dirilis ke publik.
Versi lengkap GPT-2 tidak segera dirilis karena khawatir akan potensi penyalahgunaan, termasuk aplikasi untuk menulis berita palsu. Beberapa ahli menyatakan skeptis bahwa GPT-2 merupakan ancaman yang signifikan. Allen Institute for Artificial Intelligence menanggapi GPT-2 dengan alat untuk mendeteksi "berita palsu saraf".
Peneliti lain, seperti Jeremy Howard, memperingatkan tentang "teknologi untuk benar-benar mengisi Twitter, email, dan web dengan prosa yang terdengar masuk akal, sesuai konteks, yang akan menenggelamkan semua ucapan lain dan tidak mungkin untuk disaring".
Pada November 2019, OpenAI merilis versi lengkap dari model bahasa GPT-2. Beberapa situs web menyelenggarakan demonstrasi interaktif dari contoh GPT-2 yang berbeda dan model transformator lainnya.
Penulis GPT-2 berpendapat model bahasa tanpa pengawasan menjadi pembelajar tujuan umum, diilustrasikan oleh GPT-2 yang mencapai akurasi dan kebingungan yang canggih pada 7 dari 8 tugas zero-shot (yaitu model tidak dilatih lebih lanjut pada tugas apa pun - contoh input-output tertentu).
Korpus tempat pelatihannya, disebut WebText, berisi lebih dari 8 juta dokumen dengan total 40 GB teks dari URL yang dibagikan dalam kiriman Reddit dengan setidaknya 3 suara positif. Itu menghindari masalah tertentu pengkodean kosa kata dengan token kata dengan menggunakan pengkodean pasangan byte. Hal ini memungkinkan untuk mewakili rangkaian karakter apa pun dengan menyandikan karakter individu dan token multi-karakter.
GPT-3
Generatif Pre-trained Transformer 3, umumnya dikenal dengan singkatannya GPT-3, adalah model bahasa Transformer tanpa pengawasan dan penerus GPT-2. Ini pertama kali dijelaskan pada Mei 2020. OpenAI menyatakan bahwa versi lengkap GPT-3 berisi 175 miliar parameter, dua kali lipat lebih besar dari 1,5 miliar parameter dalam versi lengkap GPT-2 (walaupun model GPT-3 hanya memiliki 125 juta parameter juga dilatih).
OpenAI menyatakan bahwa GPT-3 berhasil dalam tugas "meta-learning" tertentu. Itu dapat menggeneralisasi tujuan dari pasangan input-output tunggal. Makalah ini memberikan contoh pembelajaran terjemahan dan transfer lintas bahasa antara bahasa Inggris dan Rumania, dan antara bahasa Inggris dan Jerman.
GPT-3 secara dramatis meningkatkan hasil benchmark dibandingkan GPT-2. OpenAI memperingatkan bahwa peningkatan model bahasa seperti itu dapat mendekati atau menghadapi keterbatasan kemampuan mendasar dari model bahasa prediktif.
Pra-pelatihan GPT-3 membutuhkan komputasi beberapa ribu petaflop/s-hari, dibandingkan dengan puluhan petaflop/s-hari untuk model GPT-2 penuh.
Seperti pendahulunya, model GPT-3 yang sepenuhnya terlatih tidak segera dirilis ke publik karena kemungkinan penyalahgunaan, meskipun OpenAI berencana untuk mengizinkan akses melalui API cloud berbayar setelah beta pribadi gratis selama dua bulan yang dimulai. pada Juni 2020.
Pada tanggal 23 September 2020, GPT-3 dilisensikan secara eksklusif kepada Microsoft.
Music
API
DALL-E and CLIP
Microscop
Codex
Video game bots and benchmarks
Q&A
Answer questions based on existing knowledge.
Grammar correction
Corrects sentences into standard English.
Summarize for a 2nd grader
Translates difficult text into simpler concepts.
Natural language to OpenAI API
Create code to call to the OpenAI API using a natural language instruction.
Text to command
Translate text into programmatic commands.
English to other languages
Translates English text into French, Spanish and Japanese.
Natural language to Stripe API
Create code to call the Stripe API using natural language.
SQL translate
Translate natural language to SQL queries.
Parse unstructured data
Create tables from long form text
Classification
Classify items into categories via example.
Python to natural language
Explain a piece of Python code in human understandable language.
Movie to Emoji
Convert movie titles into emoji.
Calculate Time Complexity
Find the time complexity of a function.
Translate programming languages
Translate from one programming language to another
Advanced tweet classifier
Advanced sentiment detection for a piece of text.
Explain code
Explain a complicated piece of code.
Keywords
Extract keywords from a block of text.
Factual answering
Guide the model towards factual answering by showing it how to respond to questions that fall outside its knowledge base. Using a '?' to indicate a response to words and phrases that it doesn't know provides a natural response that seems to work better than more abstract replies.
Ad from product description
Turn a product description into ad copy.
Product name generator
Create product names from examples words. Influenced by a community prompt.
TL;DR summarization
Summarize text by adding a 'tl;dr:' to the end of a text passage. It shows that the API understands how to perform a number of tasks with no instructions.
Python bug fixer
Find and fix bugs in source code.
Spreadsheet creator
Create spreadsheets of various kinds of data. It's a long prompt but very versatile. Output can be copy+pasted into a text file and saved as a .csv with pipe separators.
JavaScript helper chatbot
Message-style bot that answers JavaScript questions
ML/AI language model tutor
Bot that answers questions about language models
Science fiction book list maker
Create a list of items for a given topic.
Tweet classifier
Basic sentiment detection for a piece of text.
Airport code extractor
Extract airport codes from text.
SQL request
Create simple SQL queries.
Extract contact information
Extract contact information from a block of text.
JavaScript to Python
Convert simple JavaScript expressions into Python.
Friend chat
Emulate a text message conversation.
Mood to color
Turn a text description into a color.
Write a Python docstring
An example of how to create a docstring for a given Python function. We specify the Python version, paste in the code, and then ask within a comment for a docstring, and give a characteristic beginning of a docstring
Analogy maker
Create analogies. Modified from a community prompt to require fewer examples.
JavaScript one line function
Turn a JavaScript function into a one liner.
Micro horror story creator
Creates two to three sentence short horror stories from a topic input.
Third-person converter
Converts first-person POV to the third-person. This is modified from a community prompt to use fewer examples.
Notes to summary
Turn meeting notes into a summary.
VR fitness idea generator
Create ideas for fitness and virtual reality games.
ESRB rating
Categorize text based upon ESRB ratings.
Essay outline
Generate an outline for a research topic.
Recipe creator (eat at your own risk)
Create a recipe from a list of ingredients.
Chat
Open ended conversation with an AI assistant.
Marv the sarcastic chat bot
Marv is a factual chatbot that is also sarcastic.
Turn by turn directions
Convert natural language to turn-by-turn directions.
Restaurant review creator
Turn a few words into a restaurant review.
Create study notes
Provide a topic and get study notes.
Interview questions
Create interview questions.
Sumber:
