gen ai ‐ day1 - soldatj/googleGenerativeAI GitHub Wiki

```Text
00:00

- 시작하는 말
Gen AI의 개념 설명 할것

Gen AI에 대한 관심이 상당히 큰 걸로 받아들이면 될 것 같음
Gen AI에 대한 오버뷰 세션을 진행하고 후반부에는 Vertex의 PaLM API 가지고 간단하게 해지해 보는 걸 할 건데 파트너사마다 현재 직접 poc를 진행하시는 파트너도 있고 그렇지 않은 처음 소개를 받으시는 파트너사도 있기 때문에 중간쯤을 찾아가지고 진행을 해야 될 것 같음

07:36
- LLM과 Gen AI
1. LLM
LLM은 주어진 워드에 대해서 다음에 오는 토큰들의 예측을 수행하는 모델
2. Gen AI 모델
Gen AI 모델은 학습한 패턴 외의 결과 - 컨텐츠를 생성해낸다.
사람이 쓰는 언어에 대한 컨텍스트의 이해가 뛰어남
여러 분야에서 활용을 검토할 수 있음
정형화된 패턴을 벗어나 관념을 확장 한다거나 프로토타입을 만들 때 생산성을 가져올 수 있음

10:58
- Transformer 아키텍처
rnn, seq to seq 를 벗어나 혁신을 일으켰음.
가장 중요한 부분은 순차적으로 의미를 파악하고 작용하는 부분에서 느린속도와 문장이 길어질 수록 앞부분의 의미가 희석됨이 큰 걸림돌 이었음.
Transformer는 이러한 상황에서 llm 모델을 혁신적으로 개선할 수 있었던 배경이 된 게 아키텍처라고 이해하시면 될 것 같음.
attention machanism 은 이러한 한계를 뛰어넘게 해주었음.
Transformer 아키텍처를 구글이 만들어서 2017년에 오픈 소스화를 함.
구글이 llm 모델에서도 선도적인 위치에 있음.

- Bard vs Generative AI on Google Cloud
최근에 소비자에게 주목받은 Bard는 컨슈머를 위한 서비스임. 기업 고객등른 Gen AI on GCP를 이용하게 될것임.

15:41
- Cloud AI Portfolio
Business users - layer1 : Contact Center AI , Document AI , Discovery AI, Healthecare AI
Developers     - layer2 : Gen AI App Builder : Coversation AI, Foundation Models, Enterprise Search
AI 연구자      - layer3 : Vertex AI : End - to End ML Platform (Gen AI Studio,en AI APIs, Model Garden
                 layer4 : Google Cloud infrastructure 

next

15:56
Gen AI의 활용
Gen AI는 오퍼튜니티를 찾을 수 있을 것 같아서 설명을 드리고 있음
Gen AI를 가지고 어떤 영역에 쓸 수 있냐 여러 가지 아이디어나 고민을 많이 하고 계시는데 기본적으로는 이런 영역에 쓸 수 있음

21:05
Gen App Builder의 활용
Gen App Builder 중에 엔터프라이 서치를 이용해서 애널리스트 분들이 자연어로 화두를 던지고 거기에 대해서 리서치하는 콘텐츠를 만들 때 여러 가지 서치 시만텍 서치나 서제스션이나 서모라이제이션 이런 것들을 이용해서 도움을 받을 수 있음
Gen App Builder 영역 중에 하나인 컨버세이셔널 AI를 이용해가지고 얼마나 고객하고 실제 커뮤니케이션하는 챗봇을 손쉽게 만들 수 있고 고객 입장에서도 기존 대비 서비스 대비 어떤 서비스를 좀 더 향상된 서비스를 받을 수 있음

22:30
모델 가든
모델 가든에 들어가 보면 다양한 모델들을 찾아서 보실 수가 있음
모델들을 여기서 보면은 펀트 모델 보면 프럼트 디자인하는 쪽으로 연결이 될 수도 있음
모델들을 엔드 포인트에 배포하는 소스 코드도 다 제공이 되고 있기 때문에 모델 가든에서 손쉽게 여러분들이 Vertex AI 쪽에 디플로이까지 진행해 보실 수가 있음
모델들은 계속 추가가 될 예정임

28:51
코드 제너레이션 모델
코드 제너레이션 모델은 펑트를 던지면 그 펑트에 맞게 실제로 코드를 제너레이션하는 모델임
코드 컴플리션 모델은 일정 스니펫을 제공하면 코드를 완성해 주는 모델임
코드 4d는 코드에 대한 이해를 하고 싶을 때 코드 책 모델을 사용해서 이용할 수 있음

30:12
임베딩 모델의 개념
임베딩 API는 문장을 임베딩 모델에 넣으면 숫자로 변환해주는 벡터화시켜주는 것임
벡터화를 하는 이유는 문장의 의미가 유사한지를 보기 위해서임
워드 트벡터가 나오면서 워드 인베딩이라는 회의가 열리기 시작함

33:12
임베딩의 개념
벡터 스페이스에 임베딩 된 애들을 배치시키고 시만텍 서치를 할 수 있게 되는 배경이 되는 게 임베딩이라고 생각함
언스트럭처드 데이터들 텍스트 데이터, 이미지 데이터도 마찬가지로 임베딩 모델을 통과시키면 벡터가 나오고 인덱싱을 다 작업을 해놓게 됨
벡터 스페이스가 필요할 거잖아요. 벡터 데이터 베이스 이런 것들을 저장해 놓는 서비스 중에 하나가 Vertex에서 제공하고 있는 매칭 엔진이라고 보시면 됨

36:56
소수 언어의 음성 인식률 개선
소수 언어를 학습시킬 때는 학습 샘플 음성이랑 텍스트 데이터를 만드는 게 중요함
유니버스 스피치 모델은 음성 모델 음성 파일만 가지고 학습을 진행함
한국어로 치면 한국어의 음성 그리고 텍스트 전산 정답지를 일부 스몰 셋만 파인 튜닝해서 제공을 하기 때문에 소수 언어들에서도 음성 인식률이 개선이 됨

39:07
멀티모델 임베딩
멀티모델 임베딩도 제공을 하고 있음
Vertex에 포함 API가 한국어를 지원함
튜닝은 실제 파운데이션 모델을 제공하는 거 외에 고객사분들이 우리의 특화된 뭔가 스패스피탄 타스크를 할 때 필요해가지고 튜닝을 진행함
튜닝도 여러 가지 방식이 있음

44:49
Vertex AI의 텍스트 바이슨 모델 튜닝
Vertex AI는 텍스트 바이슨 모델만 튜닝을 제공하고 있음
어댑터 레이어로 학습을 시키면 튜닝을 시키면 튜닝 된 웨이트들은 고객의 구글 테넌트 안에 존재를 하고 여기에는 사실 반영되는 게 아님
저희가 운영하고 있는 프로즌 모델이라고 부르는 기본 파운데이션 모델에는 웨이트가 적용되지 않음
도메인 날리지에 가서 고객이 퀘스천을 던지면 리트리버 구조가 그 퀘스천을 던져서 고객이 가지고 있는 도메인 날리지에서 관련된 정보들을 개더링 해오는 것을 리트리버 아트맨티드 제너레이션이라고 하는 컨셉으로 아키텍처를 많이 이용하고 있음

49:42
시마텍 서치
패스천을 던졌을 때 시마텍 서치를 할 수 있도록 하는 구조를 만들 때 랭 체인 활용을 함
앱 빌더는 PaLM API하고는 물론 백 단의 파운데이션 모델이 있음
프로덕 자체는 별도 프로덕으로 제공하고 있음
고객한테 만족도를 줄 수 있는 대표적으로 인포봇이라는 이름으로 공식적으로 메뉴에 있음

52:56
컨버세이션 AI의 단점
컨버세이션 AI는 가장 늦음
스테이지가 프리뷰로 제공이 되고 있음
Allow List 극히 일부 고객들한테만 제공이 되고 있음
인포봇을 만들 수가 있음

54:10
인퍼봇의 장점
고객이 질문한 키워드를 익스트렉션 해서 던져가지고 선별해서 답변을 주는 아키텍처를 썼어야 함
인퍼봇은 url만 지정하더라도 콘텐츠들을 faq 콘텐츠들을 올릴 수 있고 pdf나 이런 형태로도 제공이 됨
cx에서 봇을 만들 수가 있음

55:31
제너레이터스, 컨텍센터 AI 솔루션 업데이트
컨택센터 AI라고 하는 솔루션을 가지고 있음
제너레이터스, Gen 폴 벳 기능들을 이용해서 기존에 답변을 일일이 다 설정하지 않더라도 llm이 답변을 할 수 있도록 뒷단에 텍스트 바이슨이 연결이 돼가지고 우리 프롬프트로 잘 이 현재 컨텍스트만 잘 주면 거기에 맞춰서 답변을 플렉서블하게 할 수 있는 기능들이 추가로 업데이트가 될 예정임
두 번째 제너러티브 f 빌드에서 두 번째 영역이 엔터프라이즈 서치인데 엔터프라이즈 서치는 지금 ga가 되어 있음
얼라 리스트 기반으로 ttp trest드 테스트 프로그램에 인n놀 된 고객들만 현재는 이용할 수 있지만 ga가 되어 있음
얘는 아웃도어 박스 형태로 서치 엔진을 제공하는 거임

01:00:37
구글의 2022년 q2 레비뉴
구글의 2022년 q2 레비뉴가 어떻게 되냐 pdf들을 다 검색을 해주고 거기에 스니펫을 제공함
서모라이제이션도 ll 대 기반으로 제공을 해줌
인테그레이션 기능을 이용해가지고 바로 웹사이트에 제공할 수 있기 때문에 아우도 박스 형태로 서치 엔진을 구현하시는데 손쉽게 구현하실 수 있음
Gen App Builder의 한국어 지원은 아무것도 안 썼는데 PaLM API는 Allow List 기반으로 한국어는 지원하고 있음

01:03:36
빅쿼리의 장점
빅쿼리는 엔터프라이즈 데이터 웨어하우스를 지원하는 페타바이트 사이즈에 엔터프라이즈 데이터베이스를 지원하는 굉장히 성능 좋은 데이터 베이스임
머신러닝 모델을 직접 쿼리로 만들 수 있는 기능이 빅쿼리 ml이라는 기능이 있음

01:05:16
빅쿼리 ml의 장점
빅쿼리 ml은 자체적으로 모델을 만들 수도 있지만 리모트 서비스를 연동해서 커넥션을 만들어 이모트 서비스를 연동해서 api를 연동할 수 있음
클라우드 AI 라지 랭기지 모델 버전 원을 지정해서 모델을 빅쿼리해서 만들어 놓고 ml 닷 제너레이트 텍스트라는 부문으로 불러서 이용해 볼 수 있음
ga가 된 모델들은 세부적인 기능을 봤을 때는 ga가 되고 있음

01:07:37
바이올로그 플로우의 기능
PaLM api allogst 들어가는 게 중요한 게 여기에 나와 있는 새로 나오는 피처들도 다 ttp 우선으로 제공이 되고 있어서 같이 할 때 allist할 때 같이 적용하시는 게 좋을 것 같음
모델 같은 업무 프로세스에 하나는 저희가 지원은 그렇게 하고 있지는 않지만 배포하는 거는 실제로 하시면은 그래도 될 것 같음
모델 가인의 없는 프로서스도 저희가 배포하고 하는 것들은 제네 빌드의 커머세이션 a 기능이 컨택트가 있는 네트 커머세이션 AI 기능 인포봇이라고 했던 그런 기능 그리고 추가로 더 설명드렸던 인스트럭션 베이스 플로우 이런 것들이 다 바이올로그 플로우 안에서 제공되는 기능임

01:12:35
튜닝 후 성능
튜닝을 하고 나서 기존 대비 성능이 어떤지를 궁금해하시는 분들도 계심
공식적으로는 모델에 대한 이벨류에이션 메소드나 이런 것들을 아직은 제공하고 있지 않음
조만간 제공을 할 예정으로 알고 있음

01:14:29
PaLM API
Gen AI 빅터 있는 소스랑 동일한 소스가 스킬스 포스트에 들어있음
별도로 기업에서 내려받아서 노트북에서 하실 수 있는 분들은 그렇게 진행하셔도 PaLM api는 기본적으로 이용하실 수가 있음
PaLM api에 대한 부분에 대한 설명, 모델에 대한 설명, 모델에 대한 사이즈 네이밍 롤도 설명이 잘 되어 있음

01:17:10
AI를 이용한 답변
템플릿 형태로 템플릿화할 수가 있음
AI를 이용해서 다른 답변을 줄 수 있음
챗 바이슨을 이용해서 콘텍스트를 유지하면서 테스트해 볼 수 있음

01:20:05
텍스트 임베딩
콘텍스트를 주고 파라미터들을 넣어서 하게 되면 그에 맞는 답변들을 주게 됨
텍스트 임베딩 api도 한국어가 아직은 지원이 되고 있지 않음
텍스트에 임베딩은 한국어 공식적으로 지원 안 될 때는 여러 가지 오픈 소스도 많이 있음

01:24:18
프라이싱의 차이
프라이싱은 캐릭터 단위로 과금이 되고 있음
api 호출하고 할 때는 토큰으로 컨트롤을 하긴 하지만 프라이싱은 캐릭터 단위로 하고 있다는 점이 타사 대비 다른 점임
오늘은 전체적인 모습을 보여주기 위해 쭉 펼친 것임
다음 주에 qna 세션이 있으니 그때 해소하면 좋을 것 같음


14:45
Google Cloud AI Portfolio

15:03
Vertex AI

15:52
Gen APP builder

23:44
모델 가든 설명과 시연 중

29:41
Codey for Text-to-Code

30:00
Codey 언어 목록

30:45
임베딩 API

31:21
Embeddig에 대한 설명  - 벡터, 디멘전

34:43
벡터화 - Vertex AI Matching Engine

35:38
Chirp - 음성인식 모델 - STT - speech가 이모델을 사용하여 제공
정확도 개선, 유니버셜 스피치 모델은 음성만 먼저 학습하고 파인튜닝했다고함

39:00
Foundation Model - Text-based 리스트 설명

40:06
Vertex PaLM API 한국어 지원사항
- POC 형태로 지원중 - AllowList에 포함되어야 함

42:05
LLM을 다루는 방법 설명
- Parameter Efficient Fine Tuning - GCP에서 사용함 - Adapting Layer 사용
- Prompting Method
- (Full) Fine Tuning

45:27
Enterprise Architecture 구조 설명

47:02
* 기본설명 끝

RAG개념 설명
- 도메인에 대한 제한 등

49:10
lang chAIn
- 여러 서비스 모델을 구현할때 사용 등

51:19
Gen AI App Builder

52:56
Conversational AI

54:28
인포봇 설명중

56:28
기존의 봇을 만드는것과 Conversational AI가 뭐가 다른지 설명중임

01:02:29
리트리버 활용 가능함을 설명

01:06:08
빅쿼리 ML 설명하였음

01:08:13
서비스를 사용하기 위해서 allowlist 를 받아야되는 상황을 설명하였음
녹음 종료