1.2.1.Big Data and Data Mining - sj50179/IBM-Data-Science-Professional-Certificate GitHub Wiki

Foundations of Big Data

"Big Data refers to the dynamic, large and disparate volumes of data being created by people, tools, and machines. It requires new, innovative, and scalable technology to collect, host, and analytically process the vast amount of data gathered in order to derive real-time business insights that relate to consumers, risk, profit, performance, productivity management, and enhanced shareholder value."

“빅 데이터는 사람, 도구, 기계에서 생성되는 동적이고 크고 서로 다른 양의 데이터를 말합니다. 소비자, 위험, 이익, 성과, 생산성 관리 및 향상된 주주 가치와 관련된 실시간 비즈니스 통찰력을 얻기 위해 수집된 방대한 양의 데이터를 수집, 호스팅 및 분석적으로 처리할 수 있는 새롭고 혁신적이며 확장 가능한 기술이 필요합니다.” - 언스트와 영 (Ernst and Young)

V's of Big Data : velocity, volume, variety, veracity, value

빅 데이터의 V : 속도, 볼륨, 다양성, 진실성, 가치

1. Velocity is the speed at which data accumulates. Data is being generated extremely fast, in a process that never stops. Near or real-time streaming, local, and cloud-based technologies can process information very quickly. '속도'는 데이터가 누적되는 빠름의 정도입니다. 데이터는 중단되지 않는 프로세스에서 매우 빠르게 생성되고 있습니다. 거의 또는 실시간 스트리밍, 로컬 및 클라우드 기반 기술은 정보를 매우 빠르게 처리할 수 있습니다.
2. Volume is the scale of the data, or the increase in the amount of data stored. Drivers of volume are the increase in data sources, higher resolution sensors, and scalable infrastructure. '볼륨'은 데이터의 규모 또는 저장된 데이터 양의 증가입니다. 데이터 소스의 증가, 고해상도 센서 및 확장 가능한 인프라 등이 볼륨의 원동력입니다.
3. Variety is the diversity of the data. Structured data fits neatly into rows and columns, in relational databases while unstructured data is not organized in a pre-defined way, like Tweets, blog posts, pictures, numbers, and video. '다양성'은 데이터의 다양성입니다. 구조화된 데이터는 관계형 데이터베이스의 행과 열에 깔끔하게 맞지만, 구조화되지 않은 데이터는 트윗, 블로그 게시물, 사진, 숫자 및 비디오와 같이 미리 정의된 방식으로 구성되지 않습니다. Variety also reflects that data comes from different sources, machines, people, and processes, both internal and external to organizations. Drivers are mobile technologies, social media, wearable technologies, geo technologies, video, and many, many more. '다양성'은 또한 데이터가 조직 내부와 외부에서 서로 다른 소스, 기계, 인력 및 프로세스에서 제공된다는 것을 반영합니다. 원동력에는 모바일 기술, 소셜 미디어, 웨어러블 기술, 지리 기술, 비디오 및 그 외 여러 가지가 있습니다.
4. Veracity is the quality and origin of data, and its conformity to facts and accuracy. Attributes include consistency, completeness, integrity, and ambiguity. Drivers include cost and the need for traceability. With the large amount of data available, the debate rages on about the accuracy of data in the digital age. Is the information real, or is it false? '정확성'은 데이터의 품질과 출처, 그리고 사실과 정확성에 대한 적합성입니다. 속성에는 일관성, 완전성, 무결성 및 모호성이 포함됩니다. 여기에는 비용과 추적성 요구가 포함됩니다. 이용 가능한 데이터의 양이 많아짐에 따라 디지털 시대의 데이터의 정확성에 대한 논쟁이 격렬해집니다. 그 정보가 진짜인가요, 아니면 거짓인가요?
5. Value is our ability and need to turn data into value. Value isn't just profit. It may have medical or social benefits, as well as customer, employee, or personal satisfaction. The main reason that people invest time to understand Big Data is to derive value from it. '가치'는 데이터를 가치로 바꾸는 우리의 능력과 필요입니다. 가치는 단지 이윤만이 아닙니다. 고객, 직원 또는 개인적 만족뿐만 아니라 의료 또는 사회적 편익을 가질 수 있습니다. 사람들이 빅 데이터를 이해하기 위해 시간을 투자하는 주된 이유는 빅 데이터를 통해 가치를 창출하기 위해서입니다.

---

Lesson Summary

In this lesson, I have learned:

• How Big Data is defined by the Vs: Velocity, Volume, Variety, Veracity, and Value.. 빅 데이터가 Vs 로 정의됨 : Velocity, Volume, Various, Veracity , Value

• How Hadoop and other tools, combined with distributed computing power, are used to handle the demands of Big Data. 분산 컴퓨팅 성능과 결합된 Hadoop 및 기타 툴이 빅 데이터의 요구사항을 처리하는 방법

• What skills are required to analyse Big Data. 빅 데이터를 분석하려면 어떤 기술이 필요한지.

• About the process of Data Mining, and how it produces results. 데이터 마이닝 프로세스 및 데이터 마이닝의 결과 생성 방법에 대하여

---

Quiz