본문 바로가기
728x90

데이터분석과 AI/데이터분석과 AI 일반13

인공지능(Artificial Intelligence)이란 무엇인가? - 정의와 역사(1936~현재) 2013년 구글의 알파고로부터 전 세계적인 인공지능(Artificial Intelligence)붐이 일어났습니다. 이 때는 AI라는 새로운 시장에 진출하려는 기업들 위주로 연구와 기술 개발이 이루어졌고, 일반인 입장에서는 뜬구름 잡는 이야기였습니다. 그러나, 22년 11월 OpenAI가 발표한 ChatGPT는 순식간에 전 세계로 퍼지면서 일상 속에서 AI 시대가 다가왔습니다. 저도 그동안은 데이터 분석 위주로 공부했으나, AI에 대해 공부할 필요도 느껴져서,공부를 해보려 합니다. 오늘은 인공지능이란 무엇이고, 어떻게 발전해 왔는지 알아보겠습니다. 1. 인공지능의 정의 인공지능은 전문가들의 관점에 따라 여러가지로 정의됩니다. 여러 가지 의견이 있으나, 스튜어트 러셀과 피터노빅은 아래와 같이 4개의 영역으로.. 2023. 12. 16.
실전 시계열 분석-Practical Time Series Analysis 리뷰 데이터 분석을 처음 시작하게 되면 회귀, 분류 알고리즘을 배우고 적용해 보게 됩니다. 그리고 업무에 적용해 보려고 애쓰다 보면, 매출, 고객 VOC, 오류율 등 다양한 비즈니스 데이터가 시계열 특성을 가지고 있음을 알게 됩니다. 시계열 데이터는 초보 분석가가 배웠던 선형 회귀 알고리즘으로 분석이 어려운 부분이 존재합니다. 블로그나, 유튜브, 인터넷 강의로 공부를 하면서, 이론적으로 보강을 하기 위해 이 책을 읽게 되었습니다. 이 책은 제목 그대로 시계열 분석에 한정해서 서술하고 있습니다. 시계열에 대한 기본적인 이론과 대표적인 통계 알고리즘인 ARIMA부터, 상태공간 모델로서, 칼만 필터, 은닉 마르코프 모형, 베이즈 구조적 시계열을 다루고, 머신러닝과 딥러닝에서 시계열을 활용하는 방법을 다룹니다. 그리.. 2023. 8. 23.
부동소수점 이란? 부동소수점 계산 방식에 따른 오차 발생 예제 빅데이터분석기사 준비 중에 논리적으로는 맞지만, 실제로는 답이 틀리는 경우를 경험한 적이 있습니다. 부동소수점 계산방식으로 인한 오류였는데요. IEEE 754 부동소수점 표기법이란? IEEE 754 부동소수점 표기법은 실수에 대한 산술 연산을 이진 형식으로 표현하고 수행하기 위해 널리 사용되는 표준입니다. 부동 소수점 숫자가 구조화되고 메모리에 저장되고 조작되는 방식을 정의합니다. 이 표기 방식은 컴퓨터가 일관되고 표준화된 접근 방식으로 매우 큰 값과 매우 작은 값을 포함하여 광범위한 숫자를 처리할 수 있도록 하기 때문에 컴퓨팅에서 특히 중요합니다. IEEE 754에서 부동 소수점 숫자는 다음과 같이 표현됩니다. 부호 비트(s): 이 비트는 숫자의 부호를 나타냅니다. 0은 양수를 나타내고 1은 음수를 나.. 2023. 8. 8.
시계열 데이터의 특징 5가지 시계열 데이터는 관측치가 특정 시간 간격으로 기록되는 데이터를 의미합니다. 이런 시계열 데이터에는 다른 유형의 데이터와 구별되는 몇 가지 특정 특성이 있습니다. 시간 종속성(Time Dependence): 시계열 데이터는 시간을 기준으로 정렬되며 데이터 포인트의 순서가 중요합니다. 각 관찰은 이전 관찰과 미래 관찰에 따라 달라집니다. 계절성(Seasonality): 많은 시계열이 계절성으로 알려진 반복 패턴 또는 주기를 나타냅니다. 이러한 패턴은 매일, 매주, 매월 또는 매년과 같이 고정된 간격으로 발생할 수 있습니다. 추세(Trend): 추세는 시간 경과에 따른 데이터의 장기적인 움직임을 나타냅니다. 증가, 감소 또는 정지(일정)할 수 있습니다. 노이즈(Noise): 노이즈는 특정 패턴이나 원인에 기인.. 2023. 8. 4.
회귀분석과 시계열분석의 차이 수치를 예측하는 두 가지 분석 방법이 있습니다. 보통 처음 머신러닝을 배우게 되면 회귀를 통해 수치를 예측하는 것을 배웁니다. 그러다 이제 시계열 분석을 알게 되는데요. 회귀와 시계열 분석은 어떤 차이가 있고, 어떨 때 사용하는 것이 좋은지 정리해 보겠습니다. 1. 데이터 유형 회귀 회귀 분석에서 데이터는 하나 이상의 독립 변수(예측 변수)와 종속 변수(예측하려는 결과)로 구성됩니다. 시간의 흐름이 반영되어 있지 않으며, 이를 횡단면데이터라고 부릅니다. 시계열 분석 시계열 분석에서는 일정한 간격으로 시간에 따라 데이터를 수집합니다. 데이터는 시간 종속적이며 각 관찰은 이전 관찰의 영향을 받습니다. 이를 시계열 데이터라고 부릅니다. ※ 다수의 시점에 다수의 독립변수를 가지고 있는 경우 시계열 횡단면 데이터.. 2023. 8. 2.
데이터 역량을 키우는 방법 - 공공기관 데이터 역량강화 가이드라인 데이터 과학자나 분석가 엔지니어 등 데이터 관련 직종으로 커리어 개발을 할 때, 어떻게 학습을 이어가야 할지 막막할 때가 많습니다. 닥치는 대로 이것저것 교육도 듣고, 조언도 들어보지만, 사람마다 하는 말이 달라서 혼동이 옵니다. 그러던 중 이번에 회사에서 PM들의 데이터 역량을 강화하라는 미션이 떨어졌고, TF의 리더를 맡으신 차장님께서 알려주셔서 "공공기관 데이터 역량 강화 가이드라인"을 알게 되었습니다. 이 가이드라인은 Improving Agency Data Skills Playbook(2020, 미국 Federal Data Strategy)과 빅데이터분석기사 국가기술자격 종목 개발 연구(2018, 한국직업능력개발원)를 바탕으로 만들어졌다고 합니다. 데이터 역량 지표는 아래와 같이 크게 6가지의 역.. 2023. 7. 25.
Bard 출시!!! ChatGPT vs Bard 승자는? 1. Bart 출시 ChatGPT의 대항마, 구글의 Bard가 출시되었습니다. ChatGPT가 각광을 받자 구글도 2월에 급히 시연을 했다가 망신을 당했었는데, 이제 정식 출시가 되었습니다. https://www.newspim.com/news/view/20230208001221 챗GPT 대항마 구글AI '바드', 오답 망신살...주가 7%↓[휴스턴=뉴스핌] 고인원 특파원= 전 세계적인 열풍을 몰고 온 오픈AI ' 챗GPT'의 대항마가 될 것으로 기대를 모았던 구글의 AI '바드(Bard)'가 오답을 내놓았다는 지적이 나왔다.바드의 정확성에 대newspim.com 그랬던 구글이 3.21 미국과 영국에서 바드를 정식 출시 했습니다. 출시 직후에는 한국에서 사용이 불가능했는데, 현재는 waitlist에 등록하.. 2023. 4. 28.
ChatGPT의 한계 - AGI(Artificial General Intelligence)와 ANI(Artificial Narrow Intelligence)의 차이 ChatGPT 열풍!!! 2년 11월 ChatGPT 출시로 많은 사람이 충격을 받았습니다. 알파고 등장 시 전세계에 AI광풍이 분 것 이상으로 세계가 요동치고 있습니다. ChatGPT를 활용하는 다양한 방법들이 나오기도 하고, 관련 주들은 연속 상한가를 가기도 하는데요.(근데 왜 제 거는 안오르나요) 바둑두는 사람이 아니면, 삶에 미치는 영향이 거의 없었던 알파고와 달리 1750억개의 파라미터를 사용한다는 ChatGPT는 범용성을 갖추고 있고, 웹페이지에서 서비스를 제공하고 있어서 누구나 쉽게 접근할 수 있습니다. 간단한 질문에 대한 답부터, 자신의 생각을 정리하는 데 쓰기도 하고, 영어공부를 하는데 사용한다는 사람도 있고, 간단한 코드를 대신 짜주기도 합니다. 그러다보니, 일각에서는 ChatGPT가 모.. 2023. 3. 6.
ChatGPT 열풍!! 대체 뭐길래? 체험 후기 최근 ChatGPT관련하여 구글을 위협하는 AI모델이 나왔다고 기사가 쏟아졌습니다. 대체 ChatGPT가 어느 수준인가 궁금해서 한번 체험을 해보았습니다. ChatGPT가 뭐야? ChatGPT는 챗봇 애플리케이션을 위해 특별히 설계된 GPT-3 언어 모델의 변형입니다. 인간 대 인간 대화의 대규모 데이터 세트를 학습하여 주어진 입력에 대해 인간과 유사한 응답을 생성할 수 있습니다. ChatGPT는 대화의 맥락을 이해하고 일관성을 유지할 수 있어 고객 서비스, 가상 비서 및 언어 번역과 같은 작업에 적합합니다. 또한 시간이 지남에 따라 새로운 개념과 정보를 배우고 적응할 수 있으므로 사용하면서 성능을 향상할 수 있습니다. 전반적으로 ChatGPT는 자연스럽고 사람과 같은 대화에 참여할 수 있는 챗봇을 만들.. 2023. 1. 8.
728x90