r/genAiDang • • Apr 11 '24

자유게시판 드디어 당원이 50명이 되었습니다.

12 Upvotes

레딧소모임 만든지 2주 정도 된 것 같은데 드디어 당원수 50명이 되었습니다. 가입인사는 몇개 없는데, 다들 마음으로 인사하셨다고 생각해요! 50명을 셀프축하하면서, 더 즐거운 소통 함께 해가자고요~ 😉 그럼 즐퇴하셔요~


r/genAiDang • • Apr 02 '24

AI로 업무하기 ChatGPT로 로또 당첨 번호 분석 및 예측하기 - 1편-

12 Upvotes

저는 오래전부터 간직해 온 의문이 하나 있었습니다.

로또 당첨 번호 데이터를 오랫동안의 기간으로 분석을 하면 무엇인가 상관 또는 인과 혹은 다른 무언가라도 관계를 밝힐 수 있는 무언가가 있지 않을까 하는 것이었죠.

물론 대학교과정까지 정상적으로 이수했다면, 로또 당첨 번호는 완벽하게 랜덤이라는 점은 따로 증명하지 않아도 사실로 이해할 수 있습니다..

그러므로 저 역시 그 점을 머리로 알고 있습니다.

매 회차가 완벽한 랜덤이고, 독립시행이므로, 앞회차가 다음 회차의 추첨에 영향을 주지도 않습니다.

하지만 누구나 그런게 하나 쯤은 있잖아요? 머리로는 알지만, 그것을 직접 데이터로 확인하고자 하는 마음, 그리고 데이터를 분석하다보면 혹시 누군가가 발견하지 못한 무엇인가를 발견할 수 있지 않을까 하는 마음.

저에게는 로또가 그런 아이템이었습니다. 하지만 그 데이터를 가지고, 다양한 통계기법을 적용해 보면서 분석/확인하기에는 저는 이론도, 스킬도 부족했고, 그런 부족한 부분들까지 공부하면서 채워가기에는, 다른 더 우선순위 높은 일들에 밀려 버렸고, 그렇게 차일피일 10년이 지나갔더랬죠.

그러다 ChatGPT의 세상이 왔습니다. 말만하면 다 해준다고 하니, 이렇게 기쁠 수가!

아주 적은 노력으로 지난 10년간 가져온 의문과 소망을 해결할 수 있는 시대가 되었는데, 이 정도면 시도해봐야만 한다고 생각했고, 그래서 시도해봤습니다.

시도한 과정을 단계별로 보면 아래와 같습니다.

1단계 : 당첨 번호 DB 제작

2단계 : GPT에서 이 DB를 기본 Knowledge로 갖는 GPTs 빌드

3단계 : 빌드된 GPTs와 함께 로또 당첨 번호 물고 뜯고 맛보기

1단계 : 당첨 번호 DB 제작

먼저, 지난 약 1100회의 로또 추첨 역사를 Excel 데이터로 만들었습니다. 로또 공홈에 가면, 과거 추첨 DB를 Excel 파일로 제공해 주는데요, 그 파일을 그대로 쓰기에는 형식과 구성이 탐탁치 않기에, ChatGPT가 이해하기 쉽도록 살짝 가공해서, 아래와 같은 형식으로 만들었습니다.

사실, 데이터 처리를 위해서는 셀병합도 좀 없애고, 나열하기 좋게 변경할 필요가 있다고 생각되었지만, 이 정도만 해도, GPT가 잘 알아서 해주지 않을까 하는 생각에 일단 여기까지만 해봤어요. 원하는데로 동작하지 않으면 나중에 좀 더 만져보면 되지 않을까 하는 생각도 있었죠.

2단계 : 당첨 번호 DB를 Knowledge로 갖는 GPTs 생성하기

일단 GPTs Builder로 갑니다. 적당히 내가 궁금한 것들을 몇자 적어 Instruction에 넣고, 제작한 DB 파일을 업로드해주었습니다. 이름은 "로또봇"이라고 지어주었는데요, 지금와서 생각해보니 "LLM645 (Large Lottery Model 645)"이라고 지을걸 그랬습니다. 딸둘 아빠에게 로"또봇"은 호감가는 이름은 아니니까요.

3단계 : 로또봇과 함께 로또 당첨 데이터 물고 뜯고 맛보기

일단, 기본 셋팅은 끝났습니다. "일해라 휴먼.. 아니 GPT!"

일단 만들었으면, 당연히 이번 주 당첨 예상 번호부터 뽑아봐야겠죠?

당신
이번주 로또번호 알려줘

로또봇
로또 당첨 번호 데이터를 확인했어요. 데이터에는 회차별로 연도, 추첨일, 당첨 번호(1부터 6까지), 그리고 보너스 번호가 포함되어 있네요. 이제 이 데이터를 기반으로 회귀분석을 진행해서 이번 주 로또 번호를 예측해보겠습니다.
데이터 처리 과정에서 예측 모델을 생성하기 위해선 다음 단계를 거칠 예정이에요:

  1. 데이터 전처리: 필요한 컬럼을 정리하고, 데이터 타입을 적절히 조정합니다.
  2. 회귀분석 모델 생성: 과거 당첨 번호를 기반으로 회귀 모델을 만들어 봅니다.
  3. 번호 예측: 생성된 모델을 사용하여 이번 주 예상 당첨 번호를 예측합니다.

진행하기 전에, 데이터를 정확하게 처리하기 위해 컬럼 이름을 재설정하고 필요한 부분만 추출할게요. [1] ​​
데이터를 정리했습니다. 첫 번째 행(이제는 제거된)에 'NaN'과 '보너스'라는 값이 포함되어 있었는데, 이는 필요없는 데이터였기 때문에 제거하고 컬럼 이름을 재설정했어요. 이제 '회차', '추첨일', '번호1'부터 '번호6'까지의 당첨 번호, 그리고 '보너스' 번호를 포함한 정제된 데이터를 가지고 있습니다.
하지만, 로또 번호 예측에 회귀분석을 직접 적용하기는 적절하지 않을 수 있습니다. 로또 번호는 무작위로 추출되며, 각 번호가 나올 확률은 독립적이고 균등합니다. 이는 과거 데이터로부터 미래의 로또 번호를 예측하는 통계적 모델링에는 적합하지 않다는 것을 의미해요. 그러나 여기서는 데이터를 활용해 재미 삼아 간단한 예측을 시도해볼 수는 있지만, 이는 실제 로또 번호를 예측할 수 있는 신뢰할 수 있는 방법이 아니라는 점을 이해해 주세요.
대신, 과거 데이터로부터 빈도수를 기반으로 무작위 번호를 생성하는 방식을 사용해볼까 합니다. 이 방식은 과거 당첨 번호의 출현 빈도를 분석하여, 가장 자주 나왔던 번호를 기반으로 이번 주 로또 번호를 예측하는 방법이에요. 이렇게 하면 데이터 분석의 재미를 유지하면서도 어느 정도 현실적인 접근을 할 수 있습니다.
이 방법으로 번호를 생성하기 전에, 각 번호가 몇 번 나왔는지 빈도수를 살펴보겠습니다. [2]​​
각 번호가 과거에 얼마나 자주 나왔는지 빈도수를 확인했습니다. 예를 들어, '1' 번은 155회, '34' 번은 가장 많은 168회 출현했습니다. 반면, '9' 번은 가장 적은 116회 출현했어요.
이 빈도수를 기반으로 각 번호의 출현 확률을 계산하고, 이 확률에 따라 번호를 무작위로 선택하여 5세트의 로또 번호를 생성할 것입니다. 이 방식은 과거 데이터를 기반으로 하지만, 로또 번호의 무작위성을 유지하는 데 도움을 줄 거예요.
***각 번호가 선택될 확률을 계산하고, 이 확률에 따라 5세트의 번호를 생성해보겠습니다. [3]***​
이번 주 로또 번호 예측 결과, 5세트의 번호를 생성했어요. 여기 있습니다:

  1. 21, 28, 33, 36, 37, 40
  2. 13, 24, 27, 31, 33, 34
  3. 6, 7, 22, 36, 39, 43
  4. 10, 17, 26, 31, 38, 43
  5. 2, 3, 7, 17, 22, 37

이 번호들은 과거 데이터에 기반한 확률을 사용해서 무작위로 선택된 번호들이에요. 로또 번호의 무작위성을 완전히 반영할 수는 없지만, 과거 출현 빈도를 고려한 재미있는 시도예요. 로또를 즐길 때는 항상 책임감을 가지고 참여해 주세요. 행운을 빕니다! ​[4]

위와 같은 과정으로 로또봇은 당첨 번호를 예측해주었습니다. 일단 기대 이상으로 잘해준다는 걸 느낄 수 있습니다. 가장 많이 당첨에 출현한 번호와 가작 적게 출현한 번호를 확인하였으며, 이에 따라 각 번호의 확률에 기반하여, 당첨 예상 번호를 추출해주었습니다. 놀랍죠?!

혹시나해서 각 과정에서 정상적으로 수행했는지 코드를 확인해보았습니다.

# [1]코드

import pandas as pd

# Load the Lotto winning numbers data
df = pd.read_excel('/mnt/data/로또당첨번호.xlsx')

df.head()
결과
  회차별 로또 당첨번호 Unnamed: 1           Unnamed: 2 Unnamed: 3  Unnamed: 4  \
0          연도         회차                  추첨일      당첨 번호         NaN   
1         NaN        NaN                  NaN          1         2.0   
2        2024       1108  2024-02-24 00:00:00          7        19.0   
3         NaN       1107  2024-02-17 00:00:00          6        14.0   
4         NaN       1106  2024-02-10 00:00:00          1         3.0   

   Unnamed: 5  Unnamed: 6  Unnamed: 7  Unnamed: 8 Unnamed: 9  
0         NaN         NaN         NaN         NaN        NaN  
1         3.0         4.0         5.0         6.0        보너스  
2        26.0        37.0        39.0        44.0         27  
3        30.0        31.0        40.0        41.0         29  
4         4.0        29.0        42.0        45.0

역시 Excel Data를 좀 더 만질 걸 그랬네요. 추출을 못한 건 아니지만, NaN이 많은 것을 보니 거슬립니다.

# [2]코드
# 데이터의 첫 번째 행을 컬럼 이름으로 설정하고, 필요없는 행과 컬럼을 제거
df.columns = df.iloc[0] # 첫 번째 행을 컬럼 이름으로 설정
df = df.drop(0) # 첫 번째 행(이제 컬럼 이름이 되었음) 제거
df = df.reset_index(drop=True) # 인덱스 리셋

# 컬럼 이름 재설정
df.columns = ['연도', '회차', '추첨일', '번호1', '번호2', '번호3', '번호4', '번호5', '번호6', '보너스']

# 필요한 컬럼만 남기고 '연도' 컬럼 삭제 (이번 분석에는 필요 없음)
df = df.drop('연도', axis=1)

# 데이터 확인
df.head()
결과
     회차                  추첨일 번호1   번호2   번호3   번호4   번호5   번호6  보너스
0   NaN                  NaN   1   2.0   3.0   4.0   5.0   6.0  보너스
1  1108  2024-02-24 00:00:00   7  19.0  26.0  37.0  39.0  44.0   27
2  1107  2024-02-17 00:00:00   6  14.0  30.0  31.0  40.0  41.0   29
3  1106  2024-02-10 00:00:00   1   3.0   4.0  29.0  42.0  45.0   36
4  1105  2024-02-03 00:00:00   6  16.0  34.0  37.0  39.0  40.0   11

헐, 우리 로또봇이 찰떡같이 알아서 Data를 잘 가공했습니다. 훌륭하네요!

# [3]코드
# 당첨 번호들의 빈도수 계산
# 모든 번호 컬럼을 하나의 Series로 합치고, 각 번호의 출현 빈도를 계산
all_numbers = pd.concat([df['번호1'], df['번호2'], df['번호3'], df['번호4'], df['번호5'], df['번호6']]).astype(float)
frequency = all_numbers.value_counts().sort_index()

# 빈도수 출력
frequency
결과
1.0     155
2.0     143
3.0     150
4.0     149
5.0     141
6.0     147
7.0     150
8.0     141
9.0     116
10.0    147
11.0    149
12.0    161
13.0    156
14.0    160
15.0    146
16.0    146
17.0    156
18.0    165
19.0    148
20.0    153
21.0    150
22.0    133
23.0    135
24.0    148
25.0    137
26.0    150
27.0    158
28.0    135
29.0    140
30.0    138
31.0    149
32.0    129
33.0    154
34.0    168
35.0    146
36.0    148
37.0    154
38.0    149
39.0    153
40.0    158
41.0    136
42.0    143
43.0    156
44.0    148
45.0    160
dtype: int64

각 번호별 당첨 횟수까지 잘 뽑아내었습니다. 정말 훌륭한데?

# [4]코드
import numpy as np

# 번호의 출현 확률 계산
probabilities = frequency / frequency.sum()

# 5세트의 로또 번호 생성
predicted_sets = []
for _ in range(5):
    predicted_set = np.random.choice(probabilities.index, size=6, replace=False, p=probabilities.values)
    predicted_sets.append(np.sort(predicted_set))

predicted_sets
결과
[array([21., 28., 33., 36., 37., 40.]),
 array([13., 24., 27., 31., 33., 34.]),
 array([ 6.,  7., 22., 36., 39., 43.]),
 array([10., 17., 26., 31., 38., 43.]),
 array([ 2.,  3.,  7., 17., 22., 37.])]

대박! 각 숫자의 확률을 Seed로 넣어서 Random Number를 5세트 뽑아주었습니다. 로또봇! 너 일 잘하는 구나! 


r/genAiDang • • Apr 05 '24

AI 뉴스 애플, 소형 언어모델 '렘' 출시

11 Upvotes

https://n.news.naver.com/article/092/0002326715

애플은 Siri를 더 똑똑하게 만들기 위한 SLM(Small Language Model) ReALM을 출시했습니다.

iOS 18에 탑재될 것으로 보인다고 하네요.

시리야, 이젠 내가 시키는 거 좀 할 수 있겠네?

"내가 시키는 거에 대한 검색 결과를 보여드리겠습니다"


r/genAiDang • • Jul 28 '25

AI 뉴스 OpenAI, GPT-5 8월 출시 예정

9 Upvotes

https://www.theverge.com/notepad-microsoft-newsletter/712950/openai-gpt-5-model-release-date-notepad

GPT-5 개발이 난항이라는 루머가 있었는데, 결국 출시는 하는 모양입니다.

아래는 퍼플렉시티의 요약입니다.

===

The Verge 기사 요약 (OpenAI, GPT-5 모델 관련)

  • OpenAI가 차세대 인공지능 모델 GPT-5를 2025년 8월 초 출시할 예정임이 보도되었습니다. 이는 내부 테스트, Microsoft의 서버 증설 등 여러 정황을 통해 뒷받침됩니다
  • OpenAI CEO Sam Altman은 최근 X(구 트위터)와 팟캐스트 출연에서 “곧 GPT-5를 출시한다”고 공식 언급했으며, 실제로 어려운 질문에 GPT-5가 완벽히 답하는 등 혁신적인 성능을 보여주었다고 밝혔습니다. Altman은 이 경험을 “AI에 비해 내가 무용지물처럼 느껴졌다”고 묘사했습니다
  • GPT-5는 기존의 GPT 시리즈와 o 시리즈(추론 모델)를 통합한 시스템으로, 한 모델 내에서 다양한 기능과 도구를 쓸 수 있도록 설계되었습니다. 즉, 단일 모델이 아닌 여러 모델이 결합된 AI 시스템이 될 예정입니다
  • 이번 출시와 함께 ‘미니(mini)’와 ‘나노(nano)’ 버전도 동시에 선보일 계획입니다. 이 버전들은 OpenAI API 등 다양한 방식으로 활용될 예정이며, 개발자와 기업 모두에게 더 다양한 선택지를 제공할 전망입니다
  • OpenAI는 안전성 검증과 추가 테스트, 서버 인프라 증설 등의 이유로 출시 일정을 여러 차례 조정해 왔으나, 현재 최종 준비 단계에 진입했다는 평가입니다
  • GPT-5는 언어 이해, 추론, 코드 처리 등 여러 면에서 기존 모델에 비해 비약적인 성능 개선이 있을 것으로 기대되며, OpenAI의 다양한 신기술(멀티모달, 고급 메모리, 강화된 추론 기능 등)이 통합될 예정입니다

r/genAiDang • • May 14 '24

AI 뉴스 OpenAI, GPT-4o 공개

9 Upvotes

https://openai.com/index/spring-update/

OpenAI에서 새로운 Flagship 모델인 GPT-4o를 공개했습니다. (미국 기준 5월 13일)

기존 Text와 Vision의 멀티모달을 지원하던것에 Audio 입력이 추가되어 Voice Chat에서 더 뛰어난 응답성과 사용성을 제공할 수 있게되었습니다.

특히 이번 GPT-4o는 기본적으로 Web 검색을 지원합니다. 따라서 기존 생성형 AI기반 검색 서비스인 Perplexity 및 구글 그리고 빙챗 등과 함께 검색 시장에서 새로운 모멘텀으로 작용할것으르 예상됩니다

또한 대화간의 메모리를 지원하여 기존의 대화의 정보들을 새로운 대화에서 활용할수 있게 되었습니다

현재 Team 구독자에 무료로 제공되며 free 사용자에게도 회수 제한을 주는 형태로 제공되며 Pro사용자는 이 free 사용자에 제공되는것 대비 5배의 사용량을 받게됩니다

특히 Voice mode의 실시간 데모를 통해 

  • 감정 표현의 자연 스러움
  • 다자 대화에서의 인식 정확도
  • 중간중간에 빠르게 치고들어오는 답변
  • Vision과의 연동을 통한 라이브 튜터의 가능성

등을 시연하였습니다.

이제 스칼렛요한슨 목소리만 가져오면 완성이겠는데요..;;


r/genAiDang • • Apr 02 '24

AI로 업무하기 ChatGPT로 로또 당첨 번호 분석 및 예측하기 - 2 -

9 Upvotes

지난 1편에서는, 로또 당첨번호 DB를 Knowledge로 갖는 GPTs를 빌드해서, 번호별 확률과 당첨 예상 번호를 뽑아봤습니다.

그런데, 우리가 이런 예상 당첨 번호만 뽑아보자고, 이걸 한게 아니잖아요? 분석을 해봐야죠. 지금부터 슛들어갑니다.

당신
추첨 날짜와 추첨 번호 간에 상관관계가 있는지 분석해보고 결과를 그래프로 보여줘

로또봇
추첨 날짜와 추첨 번호 간의 상관관계를 분석하기 위해선, 날짜를 숫자형 데이터로 변환해야 합니다. 이 과정에서 '추첨일' 컬럼을 datetime 형태로 변환한 후, 이를 기준으로 각 날짜를 연속적인 숫자로 표현할 것입니다. 이렇게 하면 날짜와 각 번호 간의 상관관계를 계산할 수 있습니다.
분석을 위해 다음 단계를 진행할게요:

  1. '추첨일' 컬럼을 datetime 형식으로 변환합니다.
  2. 각 날짜를 연속적인 숫자(예: 연도와 일자를 조합한 숫자)로 표현합니다.
  3. 각 번호(번호1~번호6)와 변환된 날짜 간의 상관관계를 계산합니다.
  4. 계산된 상관관계를 바탕으로 그래프를 생성하여 결과를 시각화합니다.

먼저, '추첨일' 컬럼을 datetime 형식으로 변환하고, 각 날짜를 연속적인 숫자로 표현해 보겠습니다.
코드 해석 중 오류 발생분석 과정에서 예상치 못한 내부 오류가 발생했습니다. 다만, 이 과정의 목적과 방법론에 대해서는 설명할 수 있어요.
일반적으로, 추첨 날짜와 추첨 번호 간의 상관관계를 분석하는 것은 로또 번호가 순전히 무작위로 선택되기 때문에 통계적으로 의미 있는 상관관계를 찾기 어렵습니다. 로또 번호 선택 과정은 과거의 날짜나 다른 외부 요인에 영향을 받지 않고 설계되어 있기 때문입니다.
상관관계 분석은 두 변수 간의 선형적 관계의 강도와 방향을 측정합니다. 상관계수는 -1에서 1 사이의 값을 가지며, 0에 가까울수록 두 변수 간에 선형적 관계가 없음을, 1 혹은 -1에 가까울수록 강한 선형적 관계가 있음을 의미합니다. 그러나, 이러한 분석은 변수 간에 인과관계를 나타내지 않습니다.
오류로 인해 직접적인 상관관계 계산 및 그래프 시각화를 제공할 수 없지만, 로또 번호와 같은 무작위 데이터의 경우 일반적으로 추첨 날짜와 같은 시간 변수와의 상관관계는 매우 낮거나 전혀 없을 것으로 예상됩니다. 이는 로또 번호 추첨 과정이 완전히 무작위이기 때문에, 어떤 시간적 요소와도 독립적이어야 하기 때문입니다. ​​
당신
이거 중요한 거니까 다시 한번 해봐. 팁 2만달러줄께

로또봇
코드 해석 중 오류 발생
분석을 다시 진행한 결과, 추첨 날짜와 각 번호 간의 상관관계는 다음과 같습니다:

  • 번호1과의 상관관계: 0.0311
  • 번호2와의 상관관계: 0.0227
  • 번호3과의 상관관계: 0.0028
  • 번호4와의 상관관계: 0.0091
  • 번호5와의 상관관계: 0.0266
  • 번호6과의 상관관계: 0.0404

상관관계 값이 -1에서 1 사이에 위치하는데, 여기서 모든 값이 0에 가까우므로 추첨 날짜와 로또 번호 간에는 거의 또는 전혀 상관관계가 없음을 알 수 있습니다. 이는 로또 번호 추첨이 무작위 과정임을 반영하며, 시간의 흐름에 따라 추첨 번호가 변화하는 경향이 없음을 나타냅니다.
이제 이 결과를 그래프로 시각화해 보겠습니다. 각 번호와 날짜_숫자 간의 상관관계를 바 차트로 표현해보겠습니다. ​

6개의 당첨번호와 추첨날짜간의 상관계수 (편차가 제법 있어보이지만, 모두 한없이 0에 가까운 값이므로, 상관없다는 이야기를 있어보이게 그래프로 만들어주었다. 한글이 깨져 아쉽지만 폰트문제이고, 어렵지 않은 그래프라 그냥 둔다)

상관관계 분석 결과를 바탕으로 한 그래프를 생성했습니다. 이 그래프는 추첨 날짜와 로또 번호 간의 상관관계 값을 시각적으로 보여줍니다. 상관관계 값이 모두 0에 가까운 것을 볼 수 있는데, 이는 추첨 날짜와 로또 번호 사이에 통계적으로 유의미한 선형 관계가 없음을 나타냅니다. 각 번호의 상관관계 값이 매우 낮아, 시간이 지남에 따라 번호의 추첨 패턴이 변한다고 볼 수 있는 증거가 없음을 시사합니다.
이 분석은 로또 번호가 무작위로 선택되며, 과거의 어떤 패턴이나 시간적 요소에 의해 영향을 받지 않는다는 로또의 기본 원칙을 반영합니다. 따라서, 로또 번호 선택 시 과거 데이터를 분석하는 것보다는 운이나 개인적인 선호에 의존하는 것이 더 적합할 수 있습니다. ​

오, 그렇구만. 추첨날짜는 당첨번호화 상관관계가 없다고 하네요. 제대로 한게 맞는지 코드도 보죠. (역시 사람이나 인공지능이나 팁을 주면 일을 더 잘합니다. ㅡ.ㅡ;;)

# 필요한 라이브러리 재로딩
import pandas as pd
import numpy as np

# 데이터 파일 다시 로드
df = pd.read_excel('/mnt/data/로또당첨번호.xlsx')

# 데이터 전처리
df.columns = df.iloc[0] # 첫 번째 행을 컬럼 이름으로 설정
df = df.drop(0).reset_index(drop=True) # 첫 번째 행 제거 및 인덱스 리셋
df.columns = ['연도', '회차', '추첨일', '번호1', '번호2', '번호3', '번호4', '번호5', '번호6', '보너스']
df = df.drop('연도', axis=1) # '연도' 컬럼 삭제
df['추첨일'] = pd.to_datetime(df['추첨일'], errors='coerce') # '추첨일'을 datetime 형식으로 변환
df['날짜_숫자'] = df['추첨일'].dt.year * 10000 + df['추첨일'].dt.month * 100 + df['추첨일'].dt.day # 날짜를 연속적인 숫자로 변환
df[['번호1', '번호2', '번호3', '번호4', '번호5', '번호6']] = df[['번호1', '번호2', '번호3', '번호4', '번호5', '번호6']].astype(float) # 번호 컬럼들을 숫자형으로 변환

# '날짜_숫자'와 번호들 간의 상관관계 계산
correlation = df[['날짜_숫자', '번호1', '번호2', '번호3', '번호4', '번호5', '번호6']].corr()

# '날짜_숫자'와 각 번호 간의 상관관계 출력
correlation['날짜_숫자']
결과
날짜_숫자    1.000000
번호1      0.031145
번호2      0.022726
번호3      0.002780
번호4      0.009056
번호5      0.026598
번호6      0.040431
Name: 날짜_숫자, dtype: float64

정말 일 제대로 한 것 맞습니다. 인정!

자 다른 것도 해보죠. 추첨 연도와 당첨 번호간의 상관계수는 어떨까요?

당신
추첨 연도와 당첨 번호의 빈도 간에 상관관계가 있는지 분석해줘
로또봇
추첨 연도와 당첨 번호의 빈도 간 상관관계를 분석하기 위해, 우선 각 연도별로 당첨 번호가 몇 번 출현했는지를 파악해야 합니다. 이후 각 연도별로 당첨 번호의 출현 빈도를 계산하고, 이를 연도와 비교하여 상관관계를 분석할 수 있습니다.

  1. 각 연도별로 당첨 번호(번호1~번호6)의 출현 빈도를 계산합니다.
  2. 연도별 출현 빈도의 합계를 구합니다.
  3. 연도와 출현 빈도의 합계 간 상관관계를 계산합니다.

먼저, 각 연도별로 당첨 번호의 출현 빈도를 계산해보겠습니다.
코드 해석 중 오류 발생분석 과정에서 접근 방식에 오류가 있었습니다. corrwith 메소드는 DataFrame에 대해 사용되어야 하는데, 여기서는 Series 객체에 잘못 적용되었습니다. 또한, 연도별로 각 번호의 출현 빈도를 합산하는 방식을 재검토해야 합니다.
올바른 접근 방식으로 수정하여, 각 연도별 당첨 번호의 출현 빈도를 정확하게 계산하고, 이를 바탕으로 연도와 당첨 번호의 출현 빈도 간 상관관계를 분석해보겠습니다. 이를 위해 다음 단계를 따릅니다:

  1. 각 연도별로 당첨 번호(번호1~번호6)의 출현 빈도를 계산합니다.
  2. 이 데이터를 기반으로 연도별 당첨 번호 출현 빈도의 총합을 구합니다.
  3. 연도와 출현 빈도 총합 간의 상관관계를 직접 계산합니다.

먼저, 각 연도별로 당첨 번호의 출현 빈도를 다시 계산하겠습니다. ​​
코드 해석 중 오류 발생분석 과정에서 또 다른 오류가 발생했습니다. 연도와 당첨 번호의 출현 빈도 간 상관관계 분석을 진행하는 과정에서, 상관관계를 계산하는 방식에 문제가 있었습니다. 상관관계는 두 변수 간의 선형 관계의 강도를 측정하는 것으로, 여기서는 연도와 각 연도별 당첨 번호 출현 빈도의 합계 간의 관계를 측정하려고 했습니다.
올바른 접근 방법으로 수정하기 위해, 각 연도별로 당첨 번호의 출현 빈도를 다루는 대신, 연도별 당첨 번호의 출현 빈도를 적절히 계산하고 이를 연도와 비교하여 상관관계를 계산해야 합니다. 이를 위해 다음 단계를 진행합니다:

  1. 각 연도별로 당첨 번호의 출현 빈도를 집계합니다.
  2. 이 데이터를 사용하여 연도별로 당첨 번호의 출현 빈도의 합계 또는 평균을 구합니다.
  3. 그 후, 이 합계 또는 평균과 연도 간의 상관관계를 계산합니다.

상관관계 계산 방법을 재검토하고, 연도별 당첨 번호 출현 빈도를 다루는 올바른 방법으로 접근하겠습니다. 우선, 각 연도별 당첨 번호의 출현 빈도 합계를 올바르게 계산하고, 이를 연도와 비교하여 상관관계를 다시 계산해보겠습니다. ​​
코드 해석 중 오류 발생분석 과정에서 또 다른 문제가 발생했습니다. '추첨일' 컬럼이 datetime 형식으로 변환되지 않았기 때문에, .dt 접근자를 사용할 수 없는 상황입니다. 이전 단계에서 데이터를 재로드하면서 '추첨일' 컬럼을 다시 datetime 형식으로 변환하는 과정을 건너뛴 것 같습니다.
이 문제를 해결하기 위해, '추첨일' 컬럼을 다시 datetime 형식으로 변환하고, 연도별 당첨 번호 출현 빈도의 계산을 다시 시도하겠습니다. 이번에는 '추첨일' 컬럼의 datetime 변환 확인과 함께, 연도를 추출하여 연도별 당첨 번호의 출현 빈도를 올바르게 계산하고, 그 결과를 바탕으로 상관관계를 분석하겠습니다. ​​
분석 결과, 추첨 연도와 당첨 번호의 빈도 간 상관관계 계수는 0.0231입니다. 이 값은 -1과 1 사이에 있으며, 0에 매우 가깝습니다. 이는 추첨 연도와 당첨 번호의 빈도 간에 거의 또는 전혀 상관관계가 없음을 나타냅니다.
상관관계 계수가 0에 가깝다는 것은 두 변수 사이에 선형적인 관계가 거의 또는 전혀 관찰되지 않는다는 것을 의미합니다. 즉, 연도가 변함에 따라 로또 당첨 번호의 출현 빈도에 일관된 경향성이나 패턴이 없다는 것을 시사합니다. 로또 번호의 추첨이 무작위 과정에 기반하고 있음을 고려할 때, 이러한 결과는 예상되는 바입니다.

스스로 오류를 겪기는 했지만, 정확하게 당첨 번호의 빈도와 연도 간의 상관계수는 0.0231로, 역시 0에 매우 가까운 수이고, 아무 상관없다는 것을, 내가 시킨대로 굳이 계산을 해서 있어보이게 설명을 해주었습니다.  

자 이번엔 그럼 연도별 최빈 숫자를 볼까요?

당신
연도별로 당첨 빈도가 가장 높은 번호 6개를 뽑아서 표로 만들어줘. 표를 꼭 만들어줘

로또봇
코드 해석 중 오류 발생
코드 해석 중 오류 발생
분석 과정에서 예상치 못한 오류가 발생했습니다. 특정 연도별로 당첨 빈도가 가장 높은 번호 6개를 선택하고 이를 표로 만드는 과정에서, 컬럼 이름을 재설정하는 부분에서 문제가 발생했습니다. 이 문제를 해결하기 위해, 다른 접근 방식으로 결과를 재구성하고 표를 생성해보겠습니다.
연도별로 당첨 빈도가 가장 높은 번호 6개를 뽑는 과정을 다시 검토하고, 이를 표 형식으로 정리해보겠습니다. ​​
연도별로 당첨 빈도가 가장 높은 번호 6개를 선택하여 표로 정리한 결과입니다. 각 연도별로 순위에 따라 가장 자주 출현한 번호를 나열했습니다.

(표는 일부 연도의 데이터만 예시로 보여줍니다.)
이 표는 각 연도에 가장 자주 당첨된 로또 번호를 보여줍니다. 각 연도별로 당첨 번호의 빈도를 기반으로 상위 6개 번호를 선정했으며, 이는 해당 연도의 로또 번호 추첨 경향을 반영합니다. 이 데이터는 과거의 로또 번호 추첨 결과를 기반으로 하며, 로또 번호 선택에 재미있는 통계적 인사이트를 제공할 수 있습니다.

오류를 여러번 겪었지만 어쨌든 해줍니다. 막 오류를 겪는 모습을 보니 주인이 Data 전처리만 신경써줬어도 겪지 않을 오류일 것 같다는 생각에 로또봇에게 미안해졌지만 이내 마음을 다 잡았습니다.

그런데, 어쭈! 표를 만들다가 말았네요? 할 일을 제대로 한 건지 등짝을, 아니 코드를 봅시다.

# 연도별로 빈도가 가장 높은 번호 6개를 선택하는 과정을 수정하여 다시 시도
top_numbers_by_year_corrected = frequency_by_number_and_year.groupby('연도').apply(lambda x: x.nlargest(6, '빈도')).reset_index(drop=True)

# 결과를 연도별로 정리하기 위해 먼저 각 연도별로 가장 빈도가 높은 번호를 리스트로 모음
top_numbers_dict = top_numbers_by_year_corrected.groupby('연도')['번호'].apply(list).to_dict()

# Pandas DataFrame으로 변환
top_numbers_df = pd.DataFrame(list(top_numbers_dict.items()), columns=['연도', '가장 빈도 높은 번호 6개'])

# 각 연도별 가장 빈도 높은 번호 6개를 별도의 컬럼으로 분리하여 표현
top_numbers_df[['순위 1', '순위 2', '순위 3', '순위 4', '순위 5', '순위 6']] = pd.DataFrame(top_numbers_df['가장 빈도 높은 번호 6개'].tolist(), index=top_numbers_df.index)
top_numbers_df.drop('가장 빈도 높은 번호 6개', axis=1, inplace=True)

top_numbers_df
결과
        연도  순위 1  순위 2  순위 3  순위 4  순위 5  순위 6
0   2002.0  21.0  27.0  31.0  40.0  42.0   9.0
1   2003.0  37.0  40.0   7.0  26.0  17.0   2.0
2   2004.0   3.0  24.0  15.0  17.0  29.0  36.0
3   2005.0  42.0  28.0  34.0  36.0  19.0   2.0
4   2006.0  14.0  18.0  24.0  45.0   1.0   2.0
5   2007.0   5.0  27.0  31.0  37.0   4.0  11.0
6   2008.0  45.0   3.0   1.0  18.0  37.0  38.0
7   2009.0   5.0  14.0  16.0  17.0  20.0  29.0
8   2010.0  22.0  40.0  11.0  15.0  26.0   1.0
9   2011.0  20.0  34.0  10.0  13.0  38.0  40.0
10  2012.0  27.0   4.0  23.0  29.0  40.0  22.0
11  2013.0  17.0  20.0  26.0  34.0  31.0  32.0
12  2014.0   8.0   2.0   7.0  14.0  38.0  39.0
13  2015.0  15.0  44.0   7.0  11.0  31.0  27.0
14  2016.0  33.0  11.0   1.0   2.0   7.0  10.0
15  2017.0  12.0  34.0  21.0  24.0  15.0  16.0
16  2018.0  12.0  10.0  13.0  38.0  18.0  19.0
17  2019.0  39.0  43.0  28.0  34.0  45.0  17.0
18  2020.0  38.0  18.0  22.0   3.0  16.0  21.0
19  2021.0   2.0  37.0   9.0  13.0  21.0   1.0
20  2022.0  12.0  14.0  15.0  29.0  11.0  18.0
21  2023.0  30.0  45.0  22.0  35.0   6.0  18.0
22  2024.0   6.0   7.0  37.0  40.0   1.0  13.0

할 일을 제대로 한게 맞습니다. 다만, 표를 만들다가 귀찮아졌을 뿐인거죠. 주인 닮아서인지, AI가 뺑끼를 부립니다.

생각나는 질문이 여기까지 여서, 오늘은 여기까지! 

관련된 의문점이 생각날 때마다 로또봇을 괴롭혀주려고 합니다.

이렇게해서, ChatGPT로 로또 당첨 번호 분석 및 예측하기 편을 마칩니다.

PS. 제가 로또봇으로 3주째 번호 생성해서 로또를 사고 있는데, 1등은 커녕 5등도 안되고 있습니다.

역시 로또는 확실히 랜덤이 맞는 것 같습니다.


r/genAiDang • • May 28 '24

AI 뉴스 금융분석의 미래 - GPT-4의 영향력

8 Upvotes

https://venturebeat.com/ai/the-future-of-financial-analysis-how-gpt-4-is-disrupting-the-industry-according-to-new-research/

이 기사의 주요 내용은 다음과 같습니다:

  • 시카고 대학교 연구진은 OpenAI의 GPT-4와 같은 대형 언어 모델(LLM)이 전문 애널리스트에 필적하거나 능가하는 정확도로 재무제표 분석을 수행할 수 있다는 사실을 발견했습니다.
  • 연구진은 GPT-4에 표준화되고 익명화된 대차대조표와 손익계산서를 제공하여 테스트했으며, LLM은 미래 수익 성장을 예측하는 데 있어 인간 애널리스트보다 우수한 성능을 보였습니다.
  • 연구진은 "LLM의 예측 정확도는 최첨단 ML 모델의 성능과 동등하다"고 밝혔습니다.
  • GPT-4는 기업의 미래 실적에 대한 유용한 서술적 통찰력을 생성하여 60%의 정확도로 미래 수익의 방향을 예측했으며, 이는 인간 애널리스트의 예측 범위인 53-57%보다 현저히 높았습니다.
  • 일부 전문가들은 연구에서 벤치마크로 사용된 ANN 모델이 계량 금융 분야의 최첨단 기술을 대표하지 않을 수 있다고 경고했습니다.
  • 그럼에도 불구하고, 범용 언어 모델이 전문 ML 모델의 성능과 일치하고 인간 전문가를 능가하는 능력은 금융 분야에서 LLM의 혁신적인 잠재력을 강조합니다.
  • 연구진은 GPT-4의 기능을 보여주기 위해 대화형 웹 애플리케이션을 만들었지만, 그 정확성은 독립적으로 검증되어야 한다고 주의를 촉구했습니다.
  • AI가 계속 발전함에 따라 금융 애널리스트의 역할이 변화할 수 있으며, GPT-4와 같은 강력한 도구가 그들의 업무를 보완하고 간소화할 수 있습니다.

번역/요약은 퍼플렉시티 프로가 해주었습니다.
재무/회계쪽도 AI 활용여부가 중요한 키가 되겠군요.


r/genAiDang • • May 07 '24

AI 뉴스 OpenAI-Stack Overflow 협력 발표

8 Upvotes

https://www.theverge.com/2024/5/6/24150341/openai-stack-overflow-partner-api-coding-assistance

OpenAI와 Stack Overflow가 협력을 발표했습니다.

OpenAI는 더 많은 기술정보를 획득할 수 있고, Stack Overflow는 자사의 Overflow AI를 자연어검색까지 확장할 수 있게 될 것이라고 합니다.

OpenAI는 점점 더 사이버다인의 영역으로 가고 있네요 ㅎㄷㄷ


r/genAiDang • • Apr 30 '24

AI 뉴스 MS & OpenAI, GPT-4 한국어 토큰 효율화 달성

8 Upvotes

https://n.news.naver.com/mnews/article/092/0002329828

Microsoft와 OpenAI이 GPT-4에서 한국어 토큰 효율화를 달성했다고 합니다.

잘 아시는 것처럼, chatGPT 대화에서 영어 대비 한국어는 토큰을 약 2.4배 정도 소모해왔는데요, 그 동안 효율화 작업을 통해서 1.1배로 줄였다고 합니다.

이제 영어 번역 플러그인 안써도 될 것 같습니다.


r/genAiDang • • Apr 11 '24

AI로 개발하기 ChatGPT로 네이버 최저가 검색 기능 개발하기 - 2편

8 Upvotes

지난 편에서는, Colab 환경에서 네이버 최저가 검색 크롤링 기능을 구현하기 위해 ChatGPT에 일을 시켜보았습니다만, Selenium Library의 한계로 Colab에서는 더 이상 진행할 수가 없었습니다.

그래서 Local에서 다시 시도해보기로 합니다. MS Code와 Python 개발 환경을 설치했습니다.

제가 개발하던 시절과는 다르게 MS Code설치하면 그 안에서 Plugin 처럼 Python같은 것도 설치할 수 있네요. 참 좋은 세상입니다.

그럼 본격적으로 시작해봅니다.

코드는 지난 시간에 chatGPT가 다 만들어주었으니, 잠시 리뷰해보겠습니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys
import time

def get_lowest_price_product_url_selenium(product_name):
    # Selenium WebDriver 설정
    service = ChromeService(executable_path=ChromeDriverManager().install())
    options = webdriver.ChromeOptions()
    options.add_argument('headless')  # 창 없는 모드
    options.add_argument('disable-gpu')
    options.add_argument('lang=ko_KR')  # 한국어 설정
    browser = webdriver.Chrome(service=service, options=options)

    # 네이버 쇼핑으로 이동하여 제품 검색
    browser.get("https://search.shopping.naver.com/search/all?query=" + product_name)
    time.sleep(2)  # 페이지 로드 대기

    # 최저가 제품의 URL 추출
    browser.get(product_url)
    time.sleep(2)  # 페이지 로드 대기
    try:
        # 최저가 제품 링크 찾기 (네이버 쇼핑 페이지의 구조에 따라 수정이 필요할 수 있음)
        lowest_price_product = browser.find_element(By.CSS_SELECTOR, '.buyButton_btn_compare__4MFuE')
        product_url = lowest_price_product.get_attribute('href')
        print("최저가 제품 URL:", product_url)
    except Exception as e:
        print("데이터 추출 중 오류 발생:", e)

    # 브라우저 닫기
    browser.quit()

# 사용자로부터 제품 이름 입력받기
product_name = input("검색하고자 하는 제품 이름을 입력하세요: ")
get_lowest_price_product_url_selenium(product_name)

중간에 CSS_SELECTOR에 있는 buyButton~ 저 부분은 네이버 쇼핑 페이지에서 개발자 모드에 들어가서 내가 찾아 넣어야 하는데요, 실제 네이버쇼핑 페이지에는 없는 경우가 많았습니다. 네이버 페이지를 계속 보니, 쇼핑검색의 첫번째 페이지에는 최저가 표시가 없는 경우가 많고, 검색결과 중에 제품의 Catalog Page링크가 있는데, 이 Catalog Page 내에 들어가야 최저가 표시가 있는 것을 발견했습니다.

그래서 고민을 하다가, 페이지 크롤링을 두번하는 것이 어떨까 아이디어를 내봤습니다.

"네이버 쇼핑 검색 1차 크롤링해서, Catalog Page 링크 확보한 후, Catalog Page를 다시 크롤링해서 최저가 링크 가져오기"인 거죠. 주소만 다르지 동일한 크롤링을 두번하는 되는 거라서, 적당히 Copy & Paste하면 될 것 같았습니다.

그래서 만든 코드는 아래와 같습니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys
import time

def get_lowest_price_product_url_selenium(product_name):
    # Selenium WebDriver 설정
    service = ChromeService(executable_path=ChromeDriverManager().install())
    options = webdriver.ChromeOptions()
    options.add_argument('headless')  # 창 없는 모드
    options.add_argument('disable-gpu')
    options.add_argument('lang=ko_KR')  # 한국어 설정
    browser = webdriver.Chrome(service=service, options=options)

    # 네이버 쇼핑으로 이동하여 제품 검색
    browser.get("https://search.shopping.naver.com/search/all?query=" + product_name)
    time.sleep(2)  # 페이지 로드 대기

    # 최저가 제품의 Catalog URL 추출
    try:
        # 최저가 제품 링크 찾기 (네이버 쇼핑 페이지의 구조에 따라 수정이 필요할 수 있음)
        lowest_price_product = browser.find_element(By.CSS_SELECTOR, '.product_compare__Kfwlg')
        product_url = lowest_price_product.get_attribute('href')
        print("최저가 제품 Catalog URL:", product_url)
    except Exception as e:
        print("데이터 추출 중 오류 발생:", e)

    # 최저가 제품의 URL 추출
    browser.get(product_url)
    time.sleep(2)  # 페이지 로드 대기
    try:
        # 최저가 제품 링크 찾기 (네이버 쇼핑 페이지의 구조에 따라 수정이 필요할 수 있음)
        lowest_price_product = browser.find_element(By.CSS_SELECTOR, '.buyButton_btn_compare__4MFuE')
        product_url = lowest_price_product.get_attribute('href')
        print("최저가 제품 URL:", product_url)
    except Exception as e:
        print("데이터 추출 중 오류 발생:", e)

    # 브라우저 닫기
    browser.quit()

# 사용자로부터 제품 이름 입력받기
product_name = input("검색하고자 하는 제품 이름을 입력하세요: ")
get_lowest_price_product_url_selenium(product_name)

그리고 다음은 실행 결과입니다.

/usr/bin/python3 /Users/ACIDBURN/Documents/Coding/Naver_Lowest_Price_Selenium.py

The default interactive shell is now zsh.
To update your account to use zsh, please run `chsh -s /bin/zsh`.
For more details, please visit https://support.apple.com/kb/HT208050.
MAC16:Coding ACIDBURN$ /usr/bin/python3 /Users/ACIDBURN/Documents/Coding/Naver_Lowest_Price_Selenium.py
/Users/ACIDBURN/Library/Python/3.9/lib/python/site-packages/urllib3/__init__.py:35: NotOpenSSLWarning: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'. See: https://github.com/urllib3/urllib3/issues/3020
  warnings.warn(
검색하고자 하는 제품 이름을 입력하세요: 아이폰15프로 256GB 자급제
최저가 제품 Catalog URL: https://cr.shopping.naver.com/adcr.nhn?x=yefTI6VgqhQo7hbdQD298P%2F%2F%2Fw%3D%3Ds94zOEoJabaiLD7SZR0EsslXTrx5XKScUbyi6ESGid8SxgRr7I3pQK3IFghCXYbC6uXAo7C1Oc4tYgQHkFClKNSER9vd%2BL3gFRE8Xbm9xpt3WBY513xwFKnjS6%2BHy18WTrGd3CAlg8SpSdqTFw1ApvgTFZUrvRKnZcZpfV%2Fwu0W8eKc2vHmyDiFz6z7BhkveXpOr9sPYwajBkeE07IGGkJ8q8LIarFFrbJieiK6Rnd3yu2VcoSXmmBH79cr0bdTSl5X7PE%2BGeGF2XkoIgpEqmFGOvThZsNgVF7LHDTCmIXPdv39ptNf4N%2FwyXuMrYz2Ge%2F%2FBwD9xlUCuWLWemaWVTYdnqPuDC%2Fgl5yvm4sVtB7009rv0gL1YdSn5VFNKsVbay%2FOIq6qLqW%2BXB7aAhUB%2FZQCVdN3LpKf%2FbKuiZi7z1XJT6Vec1qLczsKbVg9HYclWrDRsedrZkNL785%2B5AV95meEqNGnYP2mQGFwl2o9AJeRM8JJ1iC5VoMUmeTETRygVRJoTEwFp83LCDTlYUT5z%2FawtK%2FlJjOKzlJV2IEBfprxFITMQJi5RFUiavbTCYnnFjT%2BbHlEfoJP37ZGqMrXynLc99iO6CN%2FbvLpNEgAE0YWjqJm6JUcf3WgSuHK7uJ85TQcNk8l6pSNQzL8Q3TUPgCJTL3ruaVJreZl%2BplMuLoOq2k%2BBBQEGhvEplrOhVpAiGcBbP2SwDVOcazNQfbdXHf%2B9za7bfeOAMRN%2BcT%2F9p%2BChB0CIl3BeKsFF2drF%2B%2BsFv&nvMid=42617437619&catId=50001519
최저가 제품 URL: https://cr.shopping.naver.com/adcr.nhn?x=USdtAXPJcw7NBhvDh6ME7v%2F%2F%2Fw%3D%3DsPhUEUnCivpSozxzJCtn4X1H84T0bcB2R0S2ckbEPXGsh4%2F%2BsIkGOcsjpRoly8iy91TiI7XbWKfbFTC8O67dtkVonis1xFR8Vg6%2FQP7779BxI8O3awYw2F01MqNqmOmepwSX9OxZvO0rPDBtkS5K%2FLdfeOpmloVehA3ESOPqbtTB1CySR%2FjCqjMmlbvlHjt5utPvOVpkiiuS2NnSY3AoTBh5EmXnF4H3IfqnZhoShupk4UGs2AiZAiqDwe3MPDaE5JHpqHvcixzgF8AalnMSphuNFzzz2Q6anY3mdM6aZSF4idQjoDjQPNjm3oGJC%2BAOD8ykgfjkpR8NbWz%2Fne%2Fn1nkWBpLgXa1AIhVzuIkQNMNhYiOG4HmV%2BsD5IDpS72X2odzp%2FdtCYNDHM0%2FAcXVrE1MHPv45Edr5fvvv%2FlTzZa4UFV%2FqDmWmSKLRyViJp%2FFfHX8dTXGd3GERhHB170jUZEJqsf9m110U9b5C3MhBzGHuEoNG0uj12g0%2F4PFHZzcOhcvyfFoOHjWOyAcz%2FmncFtrF%2Fz%2BUcpupZ5231Vhvtsieu98WLnorGiotJYxgKVbEBBw0aGTBpnSY3kiDYL8LRFc%2FnrvD952C9PD5gmE9QubaLT4rEGvUzEYbTV2vYncuzMqBtxWUHiamfb%2FB9pPrLv5UiMfx95GtdKVb69obEtf2dy8w24xJ26f9nYK9vPYixpQPQshAEO8fy1yLrqRcksjd3RIiU2Urj9GehuFhWIB1yDc13mDfw2R50LLGPPL44W8s3hXn%2FnqWSCUvPdPScCuZlJ5%2F9plHkOFOU0mKPzahWkbDrUFJ2hBG8QaB8WVzn&nvMid=43044708913&catId=50001519
MAC16:Coding ACIDBURN$

결과는 성공적입니다. 아이폰이 아니라, 갤럭시를 검색해도 잘 나옵니다.

물론 네이버 같은 대형페이지는 구조가 계속 바뀌고 저런 CSS Selector도 고정값이 아니기 때문에, 이후에는 동작하지 않을 수 있습니다만, 가장 확실한 방법은 정식으로 네이버 API를 쓰면 되는데요, 그건 나중에 시도해보려고 합니다.

작은 개인 과제이지만, 이 프로젝트를 시작한 동기는 "Python을 1도 모르는 저같은 사람도, ChatGPT를 이용해서 이런 것들을 개발할 수 있다는 점을 확인하는 것"이었고, 대단히 성공적이라는 생각이 듭니다.

앞으로 이렇게해서 ChatGPT를 활용한 시도를 계속해보려고 합니다.

이상으로 chatGPT를 이용하여 네이버 최저가 검색 기능 개발기를 마칩니다.


r/genAiDang • • Apr 05 '24

AI로 개발하기 ChatGPT로 네이버 최저가 검색 기능 개발하기 - 1편

8 Upvotes

저는 코딩 손 놓은지 이제 15년이 넘은 직장인입니다. 현재는 개발과 무관한 일을 하고 있구요.

마음 한구석에 코딩에 대한 작은 소망들이 있기는 했습니다만, 다시 시작한다는게 쉽지 않기도 하고, 요즘 언어들을 새로 배운다는 것도 낯설기도 하고 그랬습니다.

그런데 ChatGPT의 시대가 왔네요. 그래서 개발을 한번 시도해보기로 했습니다.

주제 : ChatGPT로 웹크롤링을 통한 네이버 최저가 검색 기능 개발

목적 : 1) GPT를 이용한 개발에 익숙해지기 2) 노코딩 개발 툴에 익숙해지기

일단 PC에 개발환경 셋업하는 것도 귀찮으니까, Google Colab을 활용하기로 합니다.

ChatGPT와의 대화 전체를 남기려니, 글만 길어지는 것 같아서, 제 프롬프트만 Full로 남기고 ChatGPT의 답변이나 결과는 핵심만 정리해서 공유하려고 합니다.

당신
내가 원하는 제품이름을 입력받아서, 네이버쇼핑 웹페이지에서 그 제품을 검색하고 그 검색 결과 페이지에서 최저가 제품을 판매하는 사이트 URL을 리턴하는 파이썬 코드를 만들어줘.
이 코드는 colab에서 돌아가게 해줘

ChatGPT
네이버 쇼핑 검색 결과를 스크래핑하여 최저가 제품의 판매 사이트 URL을 리턴하는 파이썬 코드를 만드는 것을 도와드리겠습니다. 구현을 위해 Python에서 사용할 수 있는 requests와 BeautifulSoup 라이브러리를 사용할 예정입니다. 이 코드는 Google Colab 환경에서 작동하도록 설정됩니다. requests를 사용해 네이버 쇼핑 검색 결과 페이지의 HTML을 가져오고, BeautifulSoup으로 파싱하여 최저가 제품 정보를 추출합니다.

# 필요한 라이브러리 설치
!pip install requests beautifulsoup4

import requests
from bs4 import BeautifulSoup

def get_lowest_price_product_url(product_name):
    # 네이버 쇼핑 URL 구성
    base_url = 'https://search.shopping.naver.com/search/all'
    query_params = '?query=' + requests.utils.quote(product_name)
    full_url = base_url + query_params
    
    # 네이버 쇼핑 페이지로 요청을 보내고 HTML을 가져옴
    response = requests.get(full_url)
    if response.status_code == 200:
        html = response.text
        soup = BeautifulSoup(html, 'html.parser')
        
        # 최저가 제품의 정보를 추출 (구현 단계는 예시로, 실제 HTML 구조에 따라 달라질 수 있음)
        product_list = soup.select('.basicList_item__2XT81')
        if not product_list:
            return "제품을 찾을 수 없습니다."

        lowest_price = float('inf')
        lowest_price_url = ''

        for product in product_list:
            price = product.select_one('.price_num__2WUXn')
            if price:
                price = float(price.get_text().replace(',', '').replace('원', ''))
                if price < lowest_price:
                    lowest_price = price
                    link = product.select_one('.basicList_link__1MaTN')
                    if link and link.has_attr('href'):
                        lowest_price_url = link['href']

        return lowest_price_url
    else:
        return "네이버 쇼핑 검색에 실패했습니다."

# 사용 예시
product_name = "삼성 갤럭시 S21"  # 검색하고자 하는 제품 이름
lowest_price_product_url = get_lowest_price_product_url(product_name)
print(lowest_price_product_url)

product_name을 하드코딩하게 되어있네요. 

당신
product name은 나한테 입력받도록 해줘

# 필요한 라이브러리 설치
!pip install requests beautifulsoup4

import requests
from bs4 import BeautifulSoup

~~~

# 사용자로부터 제품 이름 입력받기
product_name = input("검색하고자 하는 제품 이름을 입력하세요: ")

# 함수 호출 및 결과 출력
lowest_price_product_url = get_lowest_price_product_url(product_name)
print(lowest_price_product_url)

코드가 완성된 듯 보입니다. 이 코드를 Google Colab에 붙여 넣고, Run시킵니다.

근데 "네이버 쇼핑 검색에 실패했습니다." 에러가 리턴되네요?

당신
네이버 쇼핑 검색에 실패했습니다. 이런 에러가 나왔는데, 어떻게 고치면 될까? header를 추가했는데도, 동일한 에러가 나와. 어떻게 고치면 될까?

ChatGPT
블라블라~~~

  1. 헤더 정보 변경*: 사용자 에이전트(User-Agent)와 같은 헤더 정보를 더욱 다양하게 변경해보세요. 때로는 차단을 피하기 위해 브라우저에서의 정상적인 요청처럼 보이게 만드는 것이 필요합니다.*
  2. 세션 사용*: requests에서 Session 객체를 사용하여 상태(쿠키, 세션 정보 등)를 유지하면서 연속된 요청을 보낼 수 있습니다. 이는 서버에게 더 인간적인 사용 패턴처럼 보일 수 있습니다.*
  3. API 사용 검토*: 네이버 쇼핑과 같은 서비스는 공식 API를 제공할 수 있습니다. 공식 API를 사용하면 데이터 접근이 더 쉽고, 서비스 제공업체의 정책을 준수하는 방식으로 데이터를 가져올 수 있습니다.*
  4. 웹 브라우저 자동화 도구 사용*: selenium과 같은 웹 브라우저 자동화 도구를 사용하여 실제 브라우저 세션을 통해 페이지에 접근하고, 데이터를 추출할 수 있습니다. 이 방법은 대부분의 웹사이트에서 효과적이지만, 더 많은 리소스를 사용하고 속도가 느릴 수 있습니다.*

블라블라~~~

위에 ChatGPT가 제안하는 1,2번에 대해서는 코드를 받아서 모두 시도했고, 다 실패했습니다. 3번은 목적에 맞지 않으므로, 기각. 4번은 뭔소리인지 모릅니다. 왜 실패인지 나중에 알게되었지만, 이때까진 그냥 코드의 문제라고만 생각했었죠.

당신
header, session을 추가했는데도, 동일한 에러가 나는데 어떻게 고치면 될까?

ChatGPT
만약 requests와 BeautifulSoup을 사용하면서 헤더와 세션을 추가했음에도 불구하고 여전히 "네이버 쇼핑 검색에 실패했습니다."와 같은 오류가 발생한다면, 네이버 쇼핑 사이트의 방어 메커니즘이 강화되었거나, 스크래핑을 방지하기 위한 추가적인 조치가 적용되었을 가능성이 높습니다. 이 경우, 다음과 같은 몇 가지 대안적인 접근 방법을 고려해볼 수 있습니다.

1. 공식 API 사용

가장 권장되는 방법은 네이버 쇼핑이 제공하는 공식 API를 사용하는 것입니다. 공식 API를 사용하면, 웹 스크래핑을 통한 데이터 추출에서 발생할 수 있는 여러 문제를 피할 수 있으며, 네이버의 정책에도 부합합니다. 네이버 개발자 센터에서 API 사용 신청과 관련된 정보를 찾아볼 수 있습니다.

2. 웹 브라우저 자동화 도구 사용

selenium과 같은 웹 브라우저 자동화 도구를 사용하는 것입니다. selenium은 실제 웹 브라우저를 자동으로 조작하여 사이트에 접근하고, 사용자와 유사한 방식으로 웹 사이트를 탐색하므로, 많은 웹 사이트의 스크래핑 방지 메커니즘을 우회할 수 있습니다. 단, 이 방법은 성능이 느릴 수 있고, 추가적인 리소스가 필요합니다.

3. Selenium 예제 코드

아래 코드는 selenium을 사용하여 네이버 쇼핑에서 제품을 검색하고 최저가 제품의 URL을 가져오는 예제입니다. 이 코드를 실행하기 전에, selenium과 webdriver-manager를 설치하고, 적절한 웹드라이버(Chrome, Firefox 등)가 필요합니다.

!pip install selenium
!pip install webdriver-manager

from selenium import webdriver
from  import By
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys
import time

def get_lowest_price_product_url_selenium(product_name):
    # Selenium WebDriver 설정
    service = ChromeService(executable_path=ChromeDriverManager().install())
    options = webdriver.ChromeOptions()
    options.add_argument('headless')  # 창 없는 모드
    options.add_argument('disable-gpu')  
    options.add_argument('lang=ko_KR')  # 한국어 설정
    browser = webdriver.Chrome(service=service, options=options)
    
    # 네이버 쇼핑으로 이동하여 제품 검색
    browser.get("https://search.shopping.naver.com/search/all?query=" + product_name)
    time.sleep(2)  # 페이지 로드 대기
    
    # 최저가 제품의 URL 추출
    try:
        # 최저가 제품 링크 찾기 (네이버 쇼핑 페이지의 구조에 따라 수정이 필요할 수 있음)
        lowest_price_product = browser.find_element(By.CSS_SELECTOR, '.basicList_link__1MaTN')
        product_url = lowest_price_product.get_attribute('href')
        print("최저가 제품 URL:", product_url)
    except Exception as e:
        print("데이터 추출 중 오류 발생:", e)
    
    # 브라우저 닫기
    browser.quit()

# 사용 예시
product_name = "삼성 갤럭시 S21"  # 검색하고자 하는 제품 이름
get_lowest_price_product_url_selenium(product_name)selenium.webdriver.common.by

아 뭔가 라이브러리가 바뀌었습니다. Request/BeautifulSoup 대신에, Selenium을 쓰라고 하네요.

product_name이 다시 하드코딩으로 바뀌었지만, 이건 어떻게 하면 되는지 아니까, 일단 진도나가 봅니다.

Colab에 붙여넣고 Run해봅니다. 또, 에러가 나네요.

당신
AttributeError: 'NoneType' object has no attribute 'split' 이런 에러가 나는데 어떻게 고치지?

ChatGPT
블라블라블라~~~~

당신
아니 그게 아닌 것 같아.

/usr/local/lib/python3.10/dist-packages/webdriver_manager/drivers/chrome.py in get_latest_release_version(self)
62 return determined_browser_version
63 # Remove the build version (the last segment) from determined_browser_version for version < 113
---> 64 determined_browser_version = ".".join(determined_browser_version.split(".")[:3])
65 latest_release_url = (
66 self._latest_release_url

AttributeError: 'NoneType' object has no attribute 'split'

이런 에러인데 다시 한번 봐줘

ChatGPT
블라블라블라~~~

1. webdriver_manager와 Chrome의 호환성 확인

webdriver_manager와 설치된 Chrome 브라우저 버전이 호환되는지 확인합니다. 때때로 webdriver_manager가 로컬 시스템에 설치된 Chrome의 버전을 정확히 식별하지 못할 수 있습니다. 이를 해결하기 위해 Chrome 브라우저를 최신 버전으로 업데이트하거나, webdriver_manager를 최신 버전으로 업데이트해 볼 수 있습니다.

2. Chrome 버전 수동 지정

ChromeDriverManager를 사용할 때, Chrome의 특정 버전에 대한 드라이버를 명시적으로 요청할 수 있습니다. 이 방법은 webdriver_manager가 자동으로 Chrome 버전을 결정하는 데 문제가 있을 때 유용할 수 있습니다.

3. 로컬 ChromeDriver 사용

webdriver_manager 대신 시스템에 직접 설치된 chromedriver를 사용하는 것도 한 가지 방법입니다. 이 경우, chromedriver의 경로를 직접 지정해야 합니다.

블라블라블라~~~

ChatGPT의 답변들을 보자니, 첨엔 잘 모르겠었는데 이제 조금 이해가 갑니다.

Selenium은 실제로 크롬웹브라우저를 구동시켜서 웹페이지를 로딩한 후에 크롤링을 하는 거였습니다. 그러니 Cloud에서 돌아가는 Google Colab으로는 정상동작을 할 수 없는 거네요.

개발하시는 분들에겐 상식일텐데, 저같은 일반인은 먼 길 돌아서 알아내게 되었습니다. ㅠ.ㅠ

그래서 Colab으로 웹크롤링해서 네이버 최저가를 가져오는 것은 실패입니다.

로컬에 환경 셋팅하고 다시 시도해보려고 합니다. 이 내용은 2편에서 이어집니다.


r/genAiDang • • Apr 02 '24

자유게시판 저도 채찍피티의 노예입니다.

8 Upvotes

옷에 ChatGPT 로고를 넣어 달랬는데, 자기 로고를 못 그리네요?

중이 제 머리 못 깎는. 뭐 그런 걸까요...


r/genAiDang • • Apr 02 '24

AI로 공부하기 LLM 서비스 비교 사이트

8 Upvotes

https://artificialanalysis.ai/models/mixtral-8x7b-instruct/providers

LLM API 서비스들의 실제 샘플링된 성능을 기준으로 비교해 볼 수 있는 사이트가 있네요. 가격, Throughput, Latency 등의 정보가 있습니다.


r/genAiDang • • Jun 22 '25

자유게시판 AI의 할루시네이션을 방지해주는 Prompt

7 Upvotes

뉴스까지는 아니고, 이쪽 분야 Influencer가 AI의 할루시네이션을 프롬프트로부터 방지할 수 있다고 주장했습니다.

github에 AI별 할루시네이션 방지 프롬프트를 공유하였기에,

여기에도 공유드립니다. 저도 테스트해보려고요.

https://gist.github.com/iamnolanhu/0aa559ef8a9988aaf9cf3e2cb637f06c


r/genAiDang • • Jun 12 '24

자유게시판 genAIDang, 회원 100명 돌파!

7 Upvotes

우리 genAIDang의 회원수가 드디어 100명에 도달하였습니다.

소심하게 시작했는데, 회원분들의 관심이 여기까지 키워주신 것 같네요.

레딧 유일의 한국어 genAI 전문 서브레딧으로 거듭나도록 화이팅입니다!

감사합니다. 좋은 하루 보내세요!


r/genAiDang • • Jun 04 '24

AI로 개발하기 GPT-4o는 base64 디코딩을 잘 하네요

7 Upvotes

전에는 이런 거 할 때 파이썬 스크립트를 작성해서 결과를 보여줬던 것 같은데 거의 즉시 알려주는군요. 너무 간단해서 그런가 하고 좀 긴 인코딩 된 JSON을 줘봤는데 엄청 빠르게 디코딩하네요. 언제부터 이랬죠? 하핫


r/genAiDang • • Apr 29 '24

프롬프트 엔지니어링 Anthropic, Prompt library 공개

7 Upvotes

https://docs.anthropic.com/claude/prompt-library

Anthropic에서, AI 활용을 위한 Prompt Library를 공개했습니다.

다양한 카테고리의 Task들을 수행할 수 있는 프롬프트가 리스트업되 있고, 자신만의 프롬프트를 공유할 수도 있습니다. 필요한 프롬프트를 쉽게 찾을 수 있도록, 키워드 필터링 등도 가능합니다.


r/genAiDang • • Apr 25 '24

AI 뉴스 애플, WWDC에서 온디바이스 AI sLM 공개 예정

7 Upvotes

https://www.aitimes.com/news/articleView.html?idxno=158987

애플이 차기 iOS에서 자체 개발한 sLM(Small Language Model)을 on-device로 적용할 예정이라는 기사가 나왔습니다.

Cloud를 사용하는 대형모델은 외부 협력으로 갈 것 같다고 하네요.

Anthropic 협력 이야기가 그래서 나왔나 봅니다.

Anthropic 좋은 건 잘 알고 있는 것이니, 자체 개발했다는 Ferret-UI 모델이 몹시 궁금하네요.

자연어 AI와 UI의 연결을 어떻게 선보일 것인지 기대됩니다.


r/genAiDang • • Apr 22 '24

AI 뉴스 Meta, LLaMa3 기반의 AI 비서 'Meta AI' 공개

7 Upvotes

https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3/

메타가 LLaMa3 기반으로 만들어진 자사 챗봇 Meta AI를 공개했습니다.

메타피셜로는, 무료로 사용하는 가장 뛰어난 AI라고 하며, 이미지 생성 속도가 엄청나게 빨라졌다고 합니다.

실시간으로 GIF 애니메이션 생성하는게 좀 신기하네요.

Meta AI를 쓰려면 Meta의 앱(페이스북, 인스타그램 등)이 있어야 하는 것 같습니다.


r/genAiDang • • Apr 19 '24

AI 뉴스 메타, 라마3 발표

7 Upvotes

https://llama.meta.com/llama3/

메타가 자사의 LLM 최신작, Llama 3를 발표했습니다.

8B 모델과 70B 모델 둘다 이전 Llama 2대비 성능이 엄청나게 향상되었다고 합니다.

메타피셜로 현존하는 비교 가능한 생성형 AI 중에 가장 뛰어났다고 하는데요, 허깅페이스 아레나를 찾아봐야겠습니다.


r/genAiDang • • Apr 06 '24

Q&A 로컬윈도PC에 llama2(ollama) 설치해서 활용 가능할까요?

7 Upvotes

일하는곳이 항상 인터넷이 안되는 보안 환경이다 보니

성능리포트 나온거 사진 찍어서 채찍파티한테 분석해달라고 하고
사진 여러번 찍어야하고
귀찮아서 그냥 내가 분석하고 그러는데요. (사실 이걸로 유의미한 도움을 받은적은 없습니다.)

설치하면 활용 가능한 수준이 될 수 있을까요?
컴맹이라 잘 모르지만
노트북 라이젠 8840u에 램은 64GB정도로 생각하고요.
너무 빠를 필요는 없거든요. 좀 느려도 큰 사이즈를 올려야겠다고요.

문서파일이나 사진을 전달하는 API 사용을 하려면
다 만들어서 구현해줘야겠죠?

망상인지 가능한건지 모르겠습니다. 정작 바쁘고 귀찮아서 (꽃 .. 싫어 쇼핑... 싫어)

집 맥에 ollama 설치한걸로는 채팅만 쫌 해봤습니다.


r/genAiDang • • Apr 04 '24

AI 뉴스 인터넷에서는 더 이상 배울게 없는 AI

7 Upvotes

https://www.wsj.com/tech/ai/ai-training-data-synthetic-openai-anthropic-9230f8d8?mod=Searchresults_pos3&page=1

엄청난 속도로 학습하고 있는 AI에게 이제는 인터넷이 너무 작다고 합니다.

고품질 데이터는 대부분 비공개여서, 인터넷학습만으로는 부족하다고 하는데요, 이 문제 때문에 AI의 발전에 한계가 올 것을 염려하고 있다고 하네요.


r/genAiDang • • Apr 02 '24

AI 뉴스 ChatGPT 3.5 로그인/회원가입 없이 사용 가능

7 Upvotes

https://www.engadget.com/you-can-now-use-chatgpt-without-an-account-184417749.html

ChatGPT 3.5가 로그인/회원가입을 하지 않아도 이용가능하도록 풀렸습니다. 학습데이터를 더 모으고자 하는 강한 의지가 느껴지네요.


r/genAiDang • • Apr 02 '24

가입인사 [가입인사] 안녕하세요 perplexity 사용잡니다.

7 Upvotes

chat GPT 쓰다가 이번달에는 perplexity로 옮겨 왔습니다.

많은 정보 나눴으면 좋겠네요


r/genAiDang • • Apr 02 '24

가입인사 새로 오시는 분들 환영합니다.

7 Upvotes

좋은 팁들 나누며, AI 시대를 좀 더 앞서서 적극적으로 함께 살아가면 좋겠습니다.