こんにちは、たわです。
AWS re:Invent 2019 re:Cap というイベントが福岡で開催されたので行ってきました。
そのときのメモを残しておきます。軽いメモなので網羅的でない && 間違いがあれば指摘くださると幸いです。
当日の様子は別記事で。
【レポート】AWS re:Invent 2019 re:Cap に行ってきました【福岡開催】
発表資料はこちら。
紹介されたサービス
DeepComposer
- 伴奏を作ってくれるらしい
- モードがある
- ロックモードならドラムとかベースとかが自動生成されるらしい
- GAN が使われている
- 敵対的生成ネットワーク
- generator と discriminator を使うあれ
DeepRacer
- 強化学習が使われている
- 無作為で最初は動作させてスコアリングしていくやつ
Elastic Fabric Adapter
- 1Gbps ネットワークを EC2 にアタッチするもの
- 専用のハードウェアをつけているので、アプリケーションはすべてのリソースをちゃんと使える（通信遅延とかない）
- 機械学習の計算とかだと通信遅延がクリティカルに効いてきたりする
- TCP ではなく SRD という独自開発した通信手法を使っている（これもハードウェアで処理）
- 普通のクラウドはノードを増やしても処理能力向上が逓減的になるが、ハードウェアで処理することで比例性を維持できるようにしている
Global Accelerator
- 中国のリージョンを除き、リージョンをまたいでも Private IP で通信できる
- AWS のネットワークですべてが繋がっている
- → 近場の DNS 等で処理して AWS 内にアクセスを入れて、あとは AWS ネットワーク内で処理させたほうが早いという考え方（？）
Transit Gateway
- 専用線でオンプレとも繋げられる
- それも含めてダッシュボード管理できるものもある
Accelerated Site-to-Site VPN
- VPN を AWS につなぐことで、拠点間をつなぐことができる
Fargate for Amazon EKS
- ECS 向けだった Fargate が EKS 用にも使えるようになった
Redshift
- 直列で処理するのに特化しているので重い処理を複数入れると街が発生する
- → Concurrency Scaling 並列処理できるように
Redshift Federated Query
- Redshift に加えて、RDS や S3 へも同時にクエリが投げられるようにも
Athena Federated Query（東京まだ）
- S3 に対してクエリを投げるサービスである Athena
- 他のサービスにもクエリが投げられるようになった
データの処理のボトルネックはネットワーク
S3 などに並列処理するノードが同時にアクセスする
S3 とかに EFA をつけることでネットワークが高速化されボトルネック解消
AQUA（Advanced Query Accelerator） for Amazon Redshift
高速のクエリ（まだ開発中）
Apache Cassandra
- Dynamo DB とほとんど同じ動きをする
- 選択肢が多いほどいい、ということが理由
- （種類多すぎて AWS 何を使っていいかわからないという声があるのも事実だが）
SageMaker
- 機械学習のマネージドサービス
- ラベリング：UI を提供
- 開発
- 学習
- モデル最適化・デプロイ
- 専用の IDE がある（Amazon SageMaker Studio）
Fraud Detector
- フロントエンドエンジニアにも AI を使えるようにしたもの
- なので、シンプルなもの。JavaScript で API コールできる物が多い。
Amazon Forecast
時系列の予測サービス
Amazon Personalize
リアルタイムのパーソナライズ、リコメンデーション
こうした技術によって、ハードウェアの用意などが競争力にならない
上のアプリケーションの質によってくる
CodeGuru
- 今は Java のみ
- コードレビュー自動化
- パフォーマンス向上するような書き方を提案するなど
Contact Lens for Amazon Connect
- Amazon Connect はコールセンター
- AI の機能を付け加えることができる
- 音声から文字起こし（Amazon Transcribe）
- → 全文検索、感情分析、アラート送信
- 日本語は保存された音声のみ。英語であればリアルタイムでできる。
Amazon Kendra
- 企業内データの全文検索
- 単なる文字検索だと関係ない情報も引っかかってしまう
- → 自然言語解析をした上で検索できる
- SharePoint、RDBMS、S3 のみ
- Box、Dropbox、Salesforce への対応予定
- FAQ 自動生成も
Edge Conputing
低遅延を実現するサービス群
AWS Outposts
- 特定の企業用
- オンプレミスで AWS インフラストラクチャを実行
- 工場のラインとかで低遅延での処理が求められる場合に使う
- AWS にデータ置きたくないから、というものに対してではない
- （そもそも AWS にデータを言ったのかないと取り出せなくなるので意味ない）
AWS Local Zones
- 特定の地域用
AWS Wavelength
- 5G 用
Amazon Braket
- 量子コンピューティング
- 使いみちは今のところ見つかってはいないけれど
Amazon Detective
- AWS リソースからのログを収集して、分析してくれる
- アラートをダッシュボードで出してくれる
Amazon Rekognition Custom Label
- ラベルをカスタムして追加できるようになったらしい
RDS Proxy
- DB 接続は一度つないだらセッションを保持する
- でもラムダはその都度切れるので RDS と相性が悪い
- だから Proxy がセッションを盛ってくれていればいい、というもの
補足・その他
ミッション
すべての開発者に機械学習を
re:Invent について
- 車輪の再発明は AWS がやる
- 開発者は使いやすければ使って、実際の発明に集中できるようにしたい
- という意味でこの名前らしい
- 毎回この話を実際のイベントでもしているらしい
CPU も作っている
- Graviton2
環境対策もしている
- 規模が大きいのでアメリカ世論的には GAFA に削減責任があるという考え方
- CPU も省電力に（Graviton2）
- データセンターも再生可能エネルギーで賄うなど
- 機械学習も処理を少なく求めているアウトプットを出せるのでは、という考え方（パターンマッチングと比べて）
データレイク（⇔ データサイロ）
- データ解析の方法は発展しているので、同じところに集めていたほうが質が上げられるという考え方
- だから、一箇所にすべて集める
- まずは S3 に入れておく。一番安いから。
- Athena で SQL を発行できる
- Glue で整形できる
- これを使って、Redshift に入れて解析する（終わったら消す）という運用ができるようになる
- ただすべてのデータが同じ場所にあるのでアクセス管理をちゃんとやる必要が
- S3 Access Points
- 設定ファイルによってプロキシできるように
AWS は DB 使い分けを推奨
- データ完全性 + 長期保存
- 高速処理 + 一時保存
すべてを網羅する DB は作れない（コストに見合わない）
NitroController（Nitro Hypervisor）
仮想化基盤の話
マイクロサービス
- マイクロサービスの目安
- エンジニア 10 人以内で開発できるサイズ
- API のみによる連携
- → ハードウェアもマイクロサービス的にした
徐々に EC2 をアップデート
- 処理をハードウェアに出して、
- Host OS と Guest OS が密結合にならないようにした
- → Guest OS のインターネットアクセスが Host OS に見えるなどの問題がなくなる
Trust No One
- Nitro Hypervisor があるおかげでセキュリティ問題が解決した
- SSH なしで AWS 側が Bare Metal インスタンスも管理できるようになった
- （AWS が SSH できる状態は AWS が脆弱性になる。社員も新用意しなくて済む運用）
