飽き性の頭の中

福岡から帰ってきて東京で暮らす26歳。単なる文字の記録。

【福岡開催】AWS re:Invent 2019 re:Capでのメモ

f:id:tawachan39:20200218224320j:plain

こんにちは、たわです。

AWS re:Invent 2019 re:Capというイベントが福岡で開催されたので行ってきました。

その時のメモを残しておきます。軽いメモなので網羅的でない && 間違いがあれば指摘くださると幸いです。

当日の様子は別記事で。

発表資料はこちら。

AWS re:Invent 2019 re:Cap.pdf

紹介されたサービス

DeepComposer

  • 伴奏を作ってくれるらしい
  • モードがある
    • ロックモードならドラムとかベースとかが自動生成されるらしい
  • GANが使われている
    • 敵対的生成ネットワーク
    • generatorとdiscriminatorを使うあれ

DeepRacer

  • 強化学習が使われている
    • 無作為で最初は動作させてスコアリングしていくやつ

Elastic Fabric Adapter

  • 1GbpsネットワークをEC2にアタッチするもの
  • 専用のハードウェアをつけているので、アプリケーションはすべてのリソースをちゃんと使える(通信遅延とかない)
  • 機械学習の計算とかだと通信遅延がクリティカルに効いてきたりする
  • TCPではなくSRDという独自開発した通信手法を使っている(これもハードウェアで処理)
  • 普通のクラウドはノードを増やしても処理能力向上が逓減的になるが、ハードウェアで処理することで比例性を維持できるようにしている

Global Accelerator

  • 中国のリージョンを除き、リージョンをまたいでもPrivate IPで通信できる
  • AWSのネットワークですべてが繋がっている
  • → 近場のDNS等で処理してAWS内にアクセスを入れて、あとはAWSネットワーク内で処理させたほうが早いという考え方(?)

Transit Gateway

  • 専用線でオンプレとも繋げられる
  • それも含めてダッシュボード管理できるものもある

Accelerated Site-to-Site VPN

  • VPNをAWSにつなぐことで、拠点間をつなぐことができる

Fargate for Amazon EKS

  • ECS向けだったFargateがEKS用にも使えるようになった

Redshift

  • 直列で処理するのに特化しているので重い処理を複数入れると街が発生する
  • → Concurrency Scaling 並列処理できるように

Redshift Federated Query

  • Redshiftに加えて、RDSやS3へも同時にクエリが投げられるようにも

Athena Federated Query(東京まだ)

  • S3に対してクエリを投げるサービスであるAthena
  • 他のサービスにもクエリが投げられるようになった

データの処理のボトルネックはネットワーク

S3などに並列処理するノードが同時にアクセスする

S3とかにEFAをつけることでネットワークが高速化されボトルネック解消

AQUA(Advanced Query Accelerator) for Amazon Redshift

高速のクエリ(まだ開発中)

Apache Cassandra

  • Dynamo DBとほとんど同じ動きをする
  • 選択肢が多いほどいい、ということが理由
    • (種類多すぎてAWS何を使っていいかわからないという声があるのも事実だが)

SageMaker

  • 機械学習のマネージドサービス
    • ラベリング:UIを提供
    • 開発
    • 学習
    • モデル最適化・デプロイ
  • 専用のIDEがある(Amazon SageMaker Studio)

Fraud Detector

  • フロントエンドエンジニアにもAIを使えるようにしたもの
  • なので、シンプルなもの。JavaScriptでAPIコールできる物が多い。

Amazon Forecast

時系列の予測サービス

Amazon Personalize

リアルタイムのパーソナライズ、リコメンデーション

こうした技術によって、ハードウェアの用意などが競争力にならない

上のアプリケーションの質によってくる

CodeGuru

  • 今はJavaのみ
  • コードレビュー自動化
  • パフォーマンス向上するような書き方を提案するなど

Contact Lens for Amazon Connect

  • Amazon Connectはコールセンター
  • AIの機能を付け加えることができる
    • 音声から文字起こし(Amazon Transcribe)
    • → 全文検索、感情分析、アラート送信
  • 日本語は保存された音声のみ。英語であればリアルタイムでできる。

Amazon Kendra

  • 企業内データの全文検索
  • 単なる文字検索だと関係ない情報も引っかかってしまう
  • → 自然言語解析をした上で検索できる
  • SharePoint、RDBMS、S3のみ
  • Box、Dropbox,Salesforceへの対応予定
  • FAQ自動生成も

Edge Conputing

低遅延を実現するサービス群

AWS Outposts

  • 特定の企業用
  • オンプレミスでAWSインフラストラクチャを実行
  • 工場のラインとかで低遅延での処理が求められる場合に使う
    • AWSにデータ置きたくないから、というものに対してではない
    • (そもそもAWSにデータを言ったのかないと取り出せなくなるので意味ない)

AWS Local Zones

  • 特定の地域用

AWS Wavelength

  • 5G用

Amazon Braket

  • 量子コンピューティング
  • 使いみちは今のところ見つかってはいないけれど

Amazon Detective

  • AWSリソースからのログを収集して、分析してくれる
  • アラートをダッシュボードで出してくれる

Amazon Rekognition Custom Label

  • ラベルをカスタムして追加できるようになったらしい

RDS Proxy

  • DB接続は一度つないだらセッションを保持する
  • でもラムダはその都度切れるのでRDSと相性が悪い
  • だからProxyがセッションを盛ってくれていればいい、というもの

補足・その他

ミッション

すべての開発者に機械学習を

re:Inventについて

  • 車輪の再発明はAWSがやる
  • 開発者は使いやすければ使って、実際の発明に集中できるようにしたい
  • という意味でこの名前らしい
  • 毎回この話を実際のイベントでもしているらしい

CPUも作っている

  • Graviton2

環境対策もしている

  • 規模が大きいのでアメリカ世論的にはGAFAに削減責任があるという考え方
  • CPUも省電力に(Graviton2)
  • データセンターも再生可能エネルギーで賄うなど
  • 機械学習も処理を少なく求めているアウトプットを出せるのでは、という考え方(パターンマッチングと比べて)

データレイク(⇔データサイロ)

  • データ解析の方法は発展しているので、同じところに集めていたほうが質が上げられるという考え方
  • だから、一箇所にすべて集める
  • まずはS3に入れておく。一番安いから。
  • AthenaでSQLを発行できる
  • Glueで整形できる
  • これを使って、Redshiftに入れて解析する(終わったら消す)という運用ができるようになる
  • ただ全てのデータが同じ場所にあるのでアクセス管理をちゃんとやる必要が
  • S3 Access Points
    • 設定ファイルによってプロキシできるように

AWSはDB使い分けを推奨

  • データ完全性 + 長期保存
  • 高速処理 + 一時保存

すべてを網羅するDBは作れない(コストに見合わない)

NitroController(Nitro Hypervisor)

仮想化基盤の話

マイクロサービス

  • マイクロサービスの目安
    • エンジニア10人以内で開発できるサイズ
    • APIのみによる連携
  • → ハードウェアもマイクロサービス的にした

徐々にEC2をアップデート

  • 処理をハードウェアに出して、
  • Host OSとGuest OSが密結合にならないようにした
  • → Guest OSのインターネットアクセスがHost OSに見えるなどの問題がなくなる

Trust No One

  • Nitro Hypervisorがあるおかげでセキュリティ問題が解決した
  • SSHなしでAWS側がBare Metalインスタンスも管理できるようになった
  • (AWSがSSHできる状態はAWSが脆弱性になる。社員も新用意しなくて済む運用)