AI&数理最適化技術を用いたサプライチェーン最適化 - ログ・オプト -
研究者および技術者のプロフェッショナル集団です.
  • Home
  • Products
    • SCMOPT デモ&トライアル
    • サプライチェーン最適化システムSCMOPT
      • サプライ・チェイン基本分析
      • サプライ・チェインリスク分析
      • 需要予測
      • 需要予測+動的発注方策
      • 安全在庫最適化
      • 配送最適化
      • 幹線輸送ネットワーク最適化
      • ロジスティクス・ネットワーク最適化
      • 生産ロット最適化
      • 生産スケジューリング最適化システム
      • 人員配置(シフト)最適化
      • ダイナミックプライシング/収益最適化
    • 最適化ソルバー
      • 制約最適化ソルバーSCOP
      • スケジューリング最適化ソルバーOptSeq
      • 数理最適化ソルバーGurobi Optimizer
      • 配送最適化ソルバーMETRO
      • 集合被覆最適化ソルバーOptCover
  • Solutions
    • 分野別ソリューション
      • サプライ・チェイン
      • マーケティング
      • その他分野
    • コンサルティング
  • News/Blog
  • Resource
  • About us
    • 会社概要
    • プライバシーポリシー
    • 情報セキュリティポリシー
    • SCMOPTセキュリティー
    • 商品・サービス利用規約
  • Contact Us
    • お問い合わせ
    • 無料書籍申し込みフォーム
研究者および技術者のプロフェッショナル集団です
   

CHINESE ENGLISH

  • ENGLISH
  • CHINESE
face-109968_1920
2019-04-05

深層学習の歴史(パーセプトロンからTuring賞まで)

AI

いま流行の深層学習(deep learning)はニューラルネットから生まれ,そのニューラルネットはパーセプトロンから生まれた.起源であるパーセプトロンまで遡ろう.

1958年に,コーネル大学の心理学者であったF. Rosenblattがパーセプトロンの概念を提案した.これは1層からなるニューラルネットであり,極めて単純な構成をもつが,当時は部屋いっぱいのパンチカード式の計算機が必要であった.

隠れ層のない2層のニューラルネットでの出力誤差からの確率的勾配降下法は1960年にB. Widrow と M.E. Hoff, Jr. らが Widrow-Hoff 法(デルタルール)という名称で発表した.隠れ層のある3層以上のニューラルネットは、1967年に甘利俊一が発表した.

1969年に,MITのM. Minsky(人工知能の巨人として知られる)が,ニューラルネットの限界についての論文を発表した.彼の名声による影響のためか,その後ニューラルネットの研究は徐々に下火になっていく.

2006年に,トロント大学のG. Hinton(ニューラルネットの父として知られる)は,多階層のニューラルネットでも効率よく学習できるような方法に関する論文を発表する.この手法はオートエンコーダーと呼ばれ,その後の深層学習の爆発的な研究のもとになったものである.

2011年にマイクロソフト社は,言語認識のためにニューラルネットを使うようになる.その後も言語認識や機械翻訳は,画像認識ととともに,深層学習の応用分野として定着している.

2012年の7月にGoogle社は猫を認識するためのニューラルネットであるGoogle Brainを開始し,8月には言語認識に用いるようになる.同年の10月には,Hintonの2人の学生が,ImageNetコンテストで断トツの成績で1位になる.これをきっかけに,深層学習が様々な応用に使われるようになる.2015年の12月には,マイクロソフト社のチームが,ImageNetコンテストで人間を超える結果を出し,2016年3月には,AlphaGoが碁の世界チャンピオンでL. Sedolを打ち負かす.

深層学習のフレームワークは,2002年のTorch,2007年のTheanoなど研究者向けのものが古くからあるが,2015年以降は比較的簡単に使えるものがたくさん出てきた.2015年にGoogleが公開したTensorFlowが火付け役であるが,その前にも国産のフレームワークであるChainer,TorchやThenaoを簡単に使えるようにしたKerasが,同年に公開されていた.Kerasはその後TensorFlowのラッパとなり,2019年のTensorFlow 2からは完全に統合された.2016年にはPyTorch,2017年にはcoffe2が公開され,現在でも開発ラッシュが続いている.

2018年のTuring賞(計算機科学のノーベル賞)に,深層学習の成果をあげた Y. Bengio, G. Hinton,Y. LeCun の3名が選ばれた.Hintonは,1986年に発表した誤差逆伝播の論文“Learning Internal Representations by Error Propagation”,1983年に発表したBoltzman機械,ならびに上述した2012年のImageNetコンテストの業績で受賞した.Benjioは,1990年代に行った(隠れMarkov連鎖などの)確率的系列モデルとニューラルネットの融合の一連の研究,2000年に発表した言語埋め込みに関する画期的な論文“A Neural Probabilistic Language Model”,ならびに2010年頃からI. Goodfellowとともに行っている敵対的生成ネットワーク (Generative Adversarial Networks: GAN) の研究が評価された.LeCunは,1908年代に行った畳み込みニューラルネットの研究,誤差逆伝播の改良,ならびに(ニューラルネットの層が特徴表現を徐々に学習していくなどの)ニューラルネットを理解するための様々な洞察を与えたことで受賞した.

茨木教授の基調講演 野々部教授の講演ビデオ

Related Posts

AI, SCMOPT, サプライ・チェイン, 実務, 最適化

サプライチェーンリスク解析の最先端

AI, SCMOPT, サプライ・チェイン, 実務, 最適化

Amazonを支えているアナリティックス

AI, SCMOPT, サプライ・チェイン, 実務, 最適化

サプライチェーンを近代化するよりシンプルな方法

カテゴリー

  • AI
  • News
  • Python
  • SCMOPT
  • サプライ・チェイン
  • その他
  • 可視化
  • 実務
  • 最適化
AI&数理最適化技術を用いたサプライチェーン最適化 - ログ・オプト -
Copyright © 2019 Log Opt Co., Ltd.