Tomáš Mikolov

Ing. Tomáš Mikolov, Ph.D.
Tomáš Mikolov (2020)
Tomáš Mikolov (2020)
Narození8. října 1982 (41 let)
Šumperk
BydlištěMountain View
VzděláníVysoké učení technické v Brně
Alma materVysoké učení technické v Brně
Povolánívýzkumník AI
ZaměstnavateléMeta Platforms (od 2014)
Google
OceněníCena Neuron za významný vědecký objev (2018)
Logo Wikimedia Commons multimediální obsah na Commons
Některá data mohou pocházet z datové položky.

Tomáš Mikolov (* 8. října 1982 Šumperk) je český vědec v oboru umělé inteligence. Roku 2018 obdržel Cenu Neuron za excelenci ve vědě.[1] Svým programem Word2Vec[2] podstatně zlepšil výkonnost strojových překladačů.

Život

Tomáš Mikolov se od osmi let zabýval programováním a v deseti letech se zúčastnil matematické olympiády s vlastním počítačovým programem. Vystudoval Fakultu informačních technologií Vysokého učení technického v Brně. Jako diplomovou práci obhájil jazykové modelování pomocí neuronových sítí v řečové skupině na VUT. Nalezl novou metodu překladu jazyka převedením slov do číselných vektorů a podařilo se mu tak zvýšit výkonnost překladačů až desetitisíckrát.

Roku 2010 absolvoval stáž na Johns Hopkins University u Freddy Jelinka, který v 70. a 80. letech pracoval pro IBM a je považován za průkopníka statistických modelů pro rozpoznávání řeči. Mikolov jako první dokázal úspěšně využít rekurentní neuronové sítě, které dokážou lépe pracovat s reprezentací slov. Svou práci prezentoval na konferencích a na pětiměsíční stáži v Montréalu u Yoshuy Bengia, známého počítačového vědce a odborníka na umělou inteligenci a hloubkové učení. Jako hostující vědec dostal nabídku na stáž z týmu Microsoft Research[3] a odtud byl přijat do skupiny Google Brain, kde pomocí neuronových jazykových modelů významně zlepšil a zrychlil práci překladače Google Translate.[4] (Oprava Word2Vec byl jeden z úspěšných projektů na počet reprezentací slov, ale to nebyl projekt, který zlepšil překladač viz https://www.youtube.com/watch?v=0i3OpulG8VQ )

Podařilo se mu přesvědčit vedoucího týmu Google Brain Jeffa Deana, aby Google tento program vydal jako svůj první open source machine learning program.[5][6] Publikace Tomáše Mikolova z roku 2013 patří k nejcitovanějším v oboru (Distributed Representations of Words and Phrases and their Compositionality, 18 571 citací, Efficient estimation of word representations in vector space, 14 573 citací).[7]

Od roku 2014 pracuje v týmu Facebook AI Research (FAIR) v Silicon Valley a v New Yorku[7] a zabývá se využitím umělé inteligence. Úkolem FAIR týmu je přinést přelomový objev v rámci AI, ale pracuje i na vylepšení produktů Facebooku, jako je filtrování spamu nebo označování nevhodných zpráv na základě obsahu. Tomáš Mikolov rozšířením svého Word2Vec vytvořil obecný toolkit fastText, který se stal jedním z nejúspěšnějších open source projektů Facebooku.

Od roku 2020 Tomáš Mikolov buduje vlastní výzkumný tým na Českém institutu informatiky, robotiky a kybernetiky (CIIRC) ČVUT v Praze. Roku 2019 získali jeho spolupracovníci Hugo Cisneros a Josef Šivic za příspěvek Evolving Structures in Complex Systems cenu Best Student Paper na Symposiu IEEE Artificial Life v Xiamen.[8]

Publikace (výběr)

  • T. Mikolov. Language Modeling for Speech Recognition in Czech, Masters thesis, Brno University of Technology, 2007
  • T. Mikolov, J. Kopecky, L. Burget, O. Glembek, J. Černocký. Neural network based language models for higly inflective languages, In: Proc. ICASSP 2009
  • T. Mikolov, M. Karafiat, L. Burget, J. Černocký, S. Khudanpur. Recurrent neural network based language model, In: Proceedings of Interspeech, 2010
  • T. Mikolov, S. Kombrink, L. Burget, J. Černocký, S. Khudanpur. Extensions of recurrent neural network language model, In: Proceedings of ICASSP 2011
  • T. Mikolov, A. Deoras, S. Kombrink, L. Burget, J. Černocký. Empirical Evaluation and Combination of Advanced Language Modeling Techniques, In: Proceedings of Interspeech, 2011.
  • T. Mikolov, A. Deoras, D. Povey, L. Burget, J. Černocký. Strategies for Training Large Scale Neural Network Language Models, In: Proc. Automatic Speech Recognition and Understanding, 2011.
  • T. Mikolov. Statistical Language Models based on Neural Networks. PhD thesis, Brno University of Technology, 2012
  • T. Mikolov, W.T. Yih, G. Zweig. Linguistic Regularities in Continuous Space Word Representations. NAACL HLT 2013
  • T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean. Distributed Representations of Words and Phrases and their Compositionality. Neural information processing systems 2013
  • Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, Efficient Estimation of Word Representations in Vector Space, 2013, arXiv:1301.3781
  • T Mikolov, I Sutskever, K Chen, GS Corrado, J Dean - Advances in neural information processing systems, 2013
  • Q Le, T Mikolov, Distributed representations of sentences and documents, International conference on machine learning, 2014, pp. 1188-1196
  • T Mikolov, A Joulin, S Chopra, M Mathieu, MA Ranzato, Learning longer memory in recurrent neural networks, arXiv 2014, preprint arXiv:1412.7753
  • A Joulin, T Mikolov, Inferring algorithmic patterns with stack-augmented recurrent nets, Advances in neural information processing systems, 2015, pp. 190-198
  • Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M. Rush, Bart van Merriënboer, Armand Joulin, Tomas Mikolov, Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks, arXiv 2015
  • A Joulin, E Grave, P Bojanowski, T Mikolov, Bag of tricks for efficient text classification, arXiv 2016, preprint arXiv:1607.01759
  • T Mikolov, A Joulin, M Baroni, A roadmap towards machine intelligence, International Conference on Intelligent Text Processing and Computational …, 2016
  • W Zaremba, T Mikolov, A Joulin, R Fergus, Learning simple algorithms from examples, International Conference on Machine Learning, 2016, pp. 421-429
  • P Bojanowski, E Grave, A Joulin, T Mikolov, Enriching word vectors with subword information, Transactions of the Association for Computational Linguistics 5, 2017, pp. 135-146
  • T Mikolov, E Grave, P Bojanowski, C Puhrsch, A Joulin, Advances in pre-training distributed word representations, arXiv 2017 preprint arXiv:1712.09405
  • E Grave, P Bojanowski, P Gupta, A Joulin, T Mikolov, Learning word vectors for 157 languages, arXiv 2018, preprint arXiv:1802.06893
  • A Joulin, P Bojanowski, T Mikolov, H Jégou, E Grave, Loss in translation: Learning bilingual word mapping with a retrieval criterion, arXiv 2018, preprint arXiv:1804.07745
  • Hugo Cisneros, Josef Sivic, Tomas Mikolov, Evolving Structures in Complex Systems, Proceedings of the 2019 IEEE Symposium Series on Computational Intelligence

Reference

  1. ↑ Miloš Čermák: Tomáš Mikolov, Hospodářské noviny, 30.11.2018
  2. ↑ A Beginner's Guide to Word2Vec and Neural Word Embeddings, Pathmind
  3. ↑ Microsoft GitHub: Tomas Mikolov speedup & bugfix in word2phrase
  4. ↑ Google Scholar: Tomas Mikolov, Senior Researcher, CIIRC CTU
  5. ↑ Google code archive: word2vec
  6. ↑ A.I.Wiki: A Beginner's Guide to Word2Vec and Neural Word Embeddings
  7. ↑ a b Tomas Mikolov, Research scientist, Facebook
  8. ↑ Cenu na konferenci IEEE Alife 2019 získali Hugo Cisneros, Josef Šivic a Tomáš Mikolov z CIIRC ČVUT, 16.12.2019

Externí odkazy

Média použitá na této stránce

Tomáš Mikolov (2020).jpg
Autor: Jindřich Nosek (NoJin), Licence: CC BY-SA 4.0
Tomáš Mikolov (2020)