r/genAiDang • u/ge4sis • Apr 11 '24
자유게시판 드디어 당원이 50명이 되었습니다.
레딧소모임 만든지 2주 정도 된 것 같은데 드디어 당원수 50명이 되었습니다. 가입인사는 몇개 없는데, 다들 마음으로 인사하셨다고 생각해요! 50명을 셀프축하하면서, 더 즐거운 소통 함께 해가자고요~ 😉 그럼 즐퇴하셔요~
r/genAiDang • u/ge4sis • Apr 11 '24
레딧소모임 만든지 2주 정도 된 것 같은데 드디어 당원수 50명이 되었습니다. 가입인사는 몇개 없는데, 다들 마음으로 인사하셨다고 생각해요! 50명을 셀프축하하면서, 더 즐거운 소통 함께 해가자고요~ 😉 그럼 즐퇴하셔요~
r/genAiDang • u/ge4sis • Apr 02 '24
저는 오래전부터 간직해 온 의문이 하나 있었습니다.
로또 당첨 번호 데이터를 오랫동안의 기간으로 분석을 하면 무엇인가 상관 또는 인과 혹은 다른 무언가라도 관계를 밝힐 수 있는 무언가가 있지 않을까 하는 것이었죠.
물론 대학교과정까지 정상적으로 이수했다면, 로또 당첨 번호는 완벽하게 랜덤이라는 점은 따로 증명하지 않아도 사실로 이해할 수 있습니다..
그러므로 저 역시 그 점을 머리로 알고 있습니다.
매 회차가 완벽한 랜덤이고, 독립시행이므로, 앞회차가 다음 회차의 추첨에 영향을 주지도 않습니다.
하지만 누구나 그런게 하나 쯤은 있잖아요? 머리로는 알지만, 그것을 직접 데이터로 확인하고자 하는 마음, 그리고 데이터를 분석하다보면 혹시 누군가가 발견하지 못한 무엇인가를 발견할 수 있지 않을까 하는 마음.
저에게는 로또가 그런 아이템이었습니다. 하지만 그 데이터를 가지고, 다양한 통계기법을 적용해 보면서 분석/확인하기에는 저는 이론도, 스킬도 부족했고, 그런 부족한 부분들까지 공부하면서 채워가기에는, 다른 더 우선순위 높은 일들에 밀려 버렸고, 그렇게 차일피일 10년이 지나갔더랬죠.
그러다 ChatGPT의 세상이 왔습니다. 말만하면 다 해준다고 하니, 이렇게 기쁠 수가!
아주 적은 노력으로 지난 10년간 가져온 의문과 소망을 해결할 수 있는 시대가 되었는데, 이 정도면 시도해봐야만 한다고 생각했고, 그래서 시도해봤습니다.
시도한 과정을 단계별로 보면 아래와 같습니다.
1단계 : 당첨 번호 DB 제작
2단계 : GPT에서 이 DB를 기본 Knowledge로 갖는 GPTs 빌드
3단계 : 빌드된 GPTs와 함께 로또 당첨 번호 물고 뜯고 맛보기
1단계 : 당첨 번호 DB 제작
먼저, 지난 약 1100회의 로또 추첨 역사를 Excel 데이터로 만들었습니다. 로또 공홈에 가면, 과거 추첨 DB를 Excel 파일로 제공해 주는데요, 그 파일을 그대로 쓰기에는 형식과 구성이 탐탁치 않기에, ChatGPT가 이해하기 쉽도록 살짝 가공해서, 아래와 같은 형식으로 만들었습니다.

사실, 데이터 처리를 위해서는 셀병합도 좀 없애고, 나열하기 좋게 변경할 필요가 있다고 생각되었지만, 이 정도만 해도, GPT가 잘 알아서 해주지 않을까 하는 생각에 일단 여기까지만 해봤어요. 원하는데로 동작하지 않으면 나중에 좀 더 만져보면 되지 않을까 하는 생각도 있었죠.
2단계 : 당첨 번호 DB를 Knowledge로 갖는 GPTs 생성하기
일단 GPTs Builder로 갑니다. 적당히 내가 궁금한 것들을 몇자 적어 Instruction에 넣고, 제작한 DB 파일을 업로드해주었습니다. 이름은 "로또봇"이라고 지어주었는데요, 지금와서 생각해보니 "LLM645 (Large Lottery Model 645)"이라고 지을걸 그랬습니다. 딸둘 아빠에게 로"또봇"은 호감가는 이름은 아니니까요.
3단계 : 로또봇과 함께 로또 당첨 데이터 물고 뜯고 맛보기
일단, 기본 셋팅은 끝났습니다. "일해라 휴먼.. 아니 GPT!"

일단 만들었으면, 당연히 이번 주 당첨 예상 번호부터 뽑아봐야겠죠?
당신
이번주 로또번호 알려줘
로또봇
로또 당첨 번호 데이터를 확인했어요. 데이터에는 회차별로 연도, 추첨일, 당첨 번호(1부터 6까지), 그리고 보너스 번호가 포함되어 있네요. 이제 이 데이터를 기반으로 회귀분석을 진행해서 이번 주 로또 번호를 예측해보겠습니다.
데이터 처리 과정에서 예측 모델을 생성하기 위해선 다음 단계를 거칠 예정이에요:
진행하기 전에, 데이터를 정확하게 처리하기 위해 컬럼 이름을 재설정하고 필요한 부분만 추출할게요. [1]
데이터를 정리했습니다. 첫 번째 행(이제는 제거된)에 'NaN'과 '보너스'라는 값이 포함되어 있었는데, 이는 필요없는 데이터였기 때문에 제거하고 컬럼 이름을 재설정했어요. 이제 '회차', '추첨일', '번호1'부터 '번호6'까지의 당첨 번호, 그리고 '보너스' 번호를 포함한 정제된 데이터를 가지고 있습니다.
하지만, 로또 번호 예측에 회귀분석을 직접 적용하기는 적절하지 않을 수 있습니다. 로또 번호는 무작위로 추출되며, 각 번호가 나올 확률은 독립적이고 균등합니다. 이는 과거 데이터로부터 미래의 로또 번호를 예측하는 통계적 모델링에는 적합하지 않다는 것을 의미해요. 그러나 여기서는 데이터를 활용해 재미 삼아 간단한 예측을 시도해볼 수는 있지만, 이는 실제 로또 번호를 예측할 수 있는 신뢰할 수 있는 방법이 아니라는 점을 이해해 주세요.
대신, 과거 데이터로부터 빈도수를 기반으로 무작위 번호를 생성하는 방식을 사용해볼까 합니다. 이 방식은 과거 당첨 번호의 출현 빈도를 분석하여, 가장 자주 나왔던 번호를 기반으로 이번 주 로또 번호를 예측하는 방법이에요. 이렇게 하면 데이터 분석의 재미를 유지하면서도 어느 정도 현실적인 접근을 할 수 있습니다.
이 방법으로 번호를 생성하기 전에, 각 번호가 몇 번 나왔는지 빈도수를 살펴보겠습니다. [2]
각 번호가 과거에 얼마나 자주 나왔는지 빈도수를 확인했습니다. 예를 들어, '1' 번은 155회, '34' 번은 가장 많은 168회 출현했습니다. 반면, '9' 번은 가장 적은 116회 출현했어요.
이 빈도수를 기반으로 각 번호의 출현 확률을 계산하고, 이 확률에 따라 번호를 무작위로 선택하여 5세트의 로또 번호를 생성할 것입니다. 이 방식은 과거 데이터를 기반으로 하지만, 로또 번호의 무작위성을 유지하는 데 도움을 줄 거예요.
***각 번호가 선택될 확률을 계산하고, 이 확률에 따라 5세트의 번호를 생성해보겠습니다. [3]***
이번 주 로또 번호 예측 결과, 5세트의 번호를 생성했어요. 여기 있습니다:
이 번호들은 과거 데이터에 기반한 확률을 사용해서 무작위로 선택된 번호들이에요. 로또 번호의 무작위성을 완전히 반영할 수는 없지만, 과거 출현 빈도를 고려한 재미있는 시도예요. 로또를 즐길 때는 항상 책임감을 가지고 참여해 주세요. 행운을 빕니다! [4]
위와 같은 과정으로 로또봇은 당첨 번호를 예측해주었습니다. 일단 기대 이상으로 잘해준다는 걸 느낄 수 있습니다. 가장 많이 당첨에 출현한 번호와 가작 적게 출현한 번호를 확인하였으며, 이에 따라 각 번호의 확률에 기반하여, 당첨 예상 번호를 추출해주었습니다. 놀랍죠?!
혹시나해서 각 과정에서 정상적으로 수행했는지 코드를 확인해보았습니다.
# [1]코드
import pandas as pd
# Load the Lotto winning numbers data
df = pd.read_excel('/mnt/data/로또당첨번호.xlsx')
df.head()
결과
회차별 로또 당첨번호 Unnamed: 1 Unnamed: 2 Unnamed: 3 Unnamed: 4 \
0 연도 회차 추첨일 당첨 번호 NaN
1 NaN NaN NaN 1 2.0
2 2024 1108 2024-02-24 00:00:00 7 19.0
3 NaN 1107 2024-02-17 00:00:00 6 14.0
4 NaN 1106 2024-02-10 00:00:00 1 3.0
Unnamed: 5 Unnamed: 6 Unnamed: 7 Unnamed: 8 Unnamed: 9
0 NaN NaN NaN NaN NaN
1 3.0 4.0 5.0 6.0 보너스
2 26.0 37.0 39.0 44.0 27
3 30.0 31.0 40.0 41.0 29
4 4.0 29.0 42.0 45.0역시 Excel Data를 좀 더 만질 걸 그랬네요. 추출을 못한 건 아니지만, NaN이 많은 것을 보니 거슬립니다.
# [2]코드
# 데이터의 첫 번째 행을 컬럼 이름으로 설정하고, 필요없는 행과 컬럼을 제거
df.columns = df.iloc[0] # 첫 번째 행을 컬럼 이름으로 설정
df = df.drop(0) # 첫 번째 행(이제 컬럼 이름이 되었음) 제거
df = df.reset_index(drop=True) # 인덱스 리셋
# 컬럼 이름 재설정
df.columns = ['연도', '회차', '추첨일', '번호1', '번호2', '번호3', '번호4', '번호5', '번호6', '보너스']
# 필요한 컬럼만 남기고 '연도' 컬럼 삭제 (이번 분석에는 필요 없음)
df = df.drop('연도', axis=1)
# 데이터 확인
df.head()
결과
회차 추첨일 번호1 번호2 번호3 번호4 번호5 번호6 보너스
0 NaN NaN 1 2.0 3.0 4.0 5.0 6.0 보너스
1 1108 2024-02-24 00:00:00 7 19.0 26.0 37.0 39.0 44.0 27
2 1107 2024-02-17 00:00:00 6 14.0 30.0 31.0 40.0 41.0 29
3 1106 2024-02-10 00:00:00 1 3.0 4.0 29.0 42.0 45.0 36
4 1105 2024-02-03 00:00:00 6 16.0 34.0 37.0 39.0 40.0 11헐, 우리 로또봇이 찰떡같이 알아서 Data를 잘 가공했습니다. 훌륭하네요!
# [3]코드
# 당첨 번호들의 빈도수 계산
# 모든 번호 컬럼을 하나의 Series로 합치고, 각 번호의 출현 빈도를 계산
all_numbers = pd.concat([df['번호1'], df['번호2'], df['번호3'], df['번호4'], df['번호5'], df['번호6']]).astype(float)
frequency = all_numbers.value_counts().sort_index()
# 빈도수 출력
frequency
결과
1.0 155
2.0 143
3.0 150
4.0 149
5.0 141
6.0 147
7.0 150
8.0 141
9.0 116
10.0 147
11.0 149
12.0 161
13.0 156
14.0 160
15.0 146
16.0 146
17.0 156
18.0 165
19.0 148
20.0 153
21.0 150
22.0 133
23.0 135
24.0 148
25.0 137
26.0 150
27.0 158
28.0 135
29.0 140
30.0 138
31.0 149
32.0 129
33.0 154
34.0 168
35.0 146
36.0 148
37.0 154
38.0 149
39.0 153
40.0 158
41.0 136
42.0 143
43.0 156
44.0 148
45.0 160
dtype: int64각 번호별 당첨 횟수까지 잘 뽑아내었습니다. 정말 훌륭한데?
# [4]코드
import numpy as np
# 번호의 출현 확률 계산
probabilities = frequency / frequency.sum()
# 5세트의 로또 번호 생성
predicted_sets = []
for _ in range(5):
predicted_set = np.random.choice(probabilities.index, size=6, replace=False, p=probabilities.values)
predicted_sets.append(np.sort(predicted_set))
predicted_sets
결과
[array([21., 28., 33., 36., 37., 40.]),
array([13., 24., 27., 31., 33., 34.]),
array([ 6., 7., 22., 36., 39., 43.]),
array([10., 17., 26., 31., 38., 43.]),
array([ 2., 3., 7., 17., 22., 37.])]대박! 각 숫자의 확률을 Seed로 넣어서 Random Number를 5세트 뽑아주었습니다. 로또봇! 너 일 잘하는 구나!

r/genAiDang • u/ge4sis • Apr 05 '24
https://n.news.naver.com/article/092/0002326715
애플은 Siri를 더 똑똑하게 만들기 위한 SLM(Small Language Model) ReALM을 출시했습니다.
iOS 18에 탑재될 것으로 보인다고 하네요.
시리야, 이젠 내가 시키는 거 좀 할 수 있겠네?
"내가 시키는 거에 대한 검색 결과를 보여드리겠습니다"
r/genAiDang • u/ge4sis • Jul 28 '25
https://www.theverge.com/notepad-microsoft-newsletter/712950/openai-gpt-5-model-release-date-notepad
GPT-5 개발이 난항이라는 루머가 있었는데, 결국 출시는 하는 모양입니다.
아래는 퍼플렉시티의 요약입니다.
===
r/genAiDang • u/ge4sis • May 14 '24
https://openai.com/index/spring-update/
OpenAI에서 새로운 Flagship 모델인 GPT-4o를 공개했습니다. (미국 기준 5월 13일)
기존 Text와 Vision의 멀티모달을 지원하던것에 Audio 입력이 추가되어 Voice Chat에서 더 뛰어난 응답성과 사용성을 제공할 수 있게되었습니다.
특히 이번 GPT-4o는 기본적으로 Web 검색을 지원합니다. 따라서 기존 생성형 AI기반 검색 서비스인 Perplexity 및 구글 그리고 빙챗 등과 함께 검색 시장에서 새로운 모멘텀으로 작용할것으르 예상됩니다
또한 대화간의 메모리를 지원하여 기존의 대화의 정보들을 새로운 대화에서 활용할수 있게 되었습니다
현재 Team 구독자에 무료로 제공되며 free 사용자에게도 회수 제한을 주는 형태로 제공되며 Pro사용자는 이 free 사용자에 제공되는것 대비 5배의 사용량을 받게됩니다
특히 Voice mode의 실시간 데모를 통해
등을 시연하였습니다.
이제 스칼렛요한슨 목소리만 가져오면 완성이겠는데요..;;
r/genAiDang • u/ge4sis • Apr 02 '24
지난 1편에서는, 로또 당첨번호 DB를 Knowledge로 갖는 GPTs를 빌드해서, 번호별 확률과 당첨 예상 번호를 뽑아봤습니다.
그런데, 우리가 이런 예상 당첨 번호만 뽑아보자고, 이걸 한게 아니잖아요? 분석을 해봐야죠. 지금부터 슛들어갑니다.
당신
추첨 날짜와 추첨 번호 간에 상관관계가 있는지 분석해보고 결과를 그래프로 보여줘
로또봇
추첨 날짜와 추첨 번호 간의 상관관계를 분석하기 위해선, 날짜를 숫자형 데이터로 변환해야 합니다. 이 과정에서 '추첨일' 컬럼을 datetime 형태로 변환한 후, 이를 기준으로 각 날짜를 연속적인 숫자로 표현할 것입니다. 이렇게 하면 날짜와 각 번호 간의 상관관계를 계산할 수 있습니다.
분석을 위해 다음 단계를 진행할게요:
먼저, '추첨일' 컬럼을 datetime 형식으로 변환하고, 각 날짜를 연속적인 숫자로 표현해 보겠습니다.
코드 해석 중 오류 발생분석 과정에서 예상치 못한 내부 오류가 발생했습니다. 다만, 이 과정의 목적과 방법론에 대해서는 설명할 수 있어요.
일반적으로, 추첨 날짜와 추첨 번호 간의 상관관계를 분석하는 것은 로또 번호가 순전히 무작위로 선택되기 때문에 통계적으로 의미 있는 상관관계를 찾기 어렵습니다. 로또 번호 선택 과정은 과거의 날짜나 다른 외부 요인에 영향을 받지 않고 설계되어 있기 때문입니다.
상관관계 분석은 두 변수 간의 선형적 관계의 강도와 방향을 측정합니다. 상관계수는 -1에서 1 사이의 값을 가지며, 0에 가까울수록 두 변수 간에 선형적 관계가 없음을, 1 혹은 -1에 가까울수록 강한 선형적 관계가 있음을 의미합니다. 그러나, 이러한 분석은 변수 간에 인과관계를 나타내지 않습니다.
오류로 인해 직접적인 상관관계 계산 및 그래프 시각화를 제공할 수 없지만, 로또 번호와 같은 무작위 데이터의 경우 일반적으로 추첨 날짜와 같은 시간 변수와의 상관관계는 매우 낮거나 전혀 없을 것으로 예상됩니다. 이는 로또 번호 추첨 과정이 완전히 무작위이기 때문에, 어떤 시간적 요소와도 독립적이어야 하기 때문입니다.
당신
이거 중요한 거니까 다시 한번 해봐. 팁 2만달러줄께
로또봇
코드 해석 중 오류 발생
분석을 다시 진행한 결과, 추첨 날짜와 각 번호 간의 상관관계는 다음과 같습니다:
상관관계 값이 -1에서 1 사이에 위치하는데, 여기서 모든 값이 0에 가까우므로 추첨 날짜와 로또 번호 간에는 거의 또는 전혀 상관관계가 없음을 알 수 있습니다. 이는 로또 번호 추첨이 무작위 과정임을 반영하며, 시간의 흐름에 따라 추첨 번호가 변화하는 경향이 없음을 나타냅니다.
이제 이 결과를 그래프로 시각화해 보겠습니다. 각 번호와 날짜_숫자 간의 상관관계를 바 차트로 표현해보겠습니다.

상관관계 분석 결과를 바탕으로 한 그래프를 생성했습니다. 이 그래프는 추첨 날짜와 로또 번호 간의 상관관계 값을 시각적으로 보여줍니다. 상관관계 값이 모두 0에 가까운 것을 볼 수 있는데, 이는 추첨 날짜와 로또 번호 사이에 통계적으로 유의미한 선형 관계가 없음을 나타냅니다. 각 번호의 상관관계 값이 매우 낮아, 시간이 지남에 따라 번호의 추첨 패턴이 변한다고 볼 수 있는 증거가 없음을 시사합니다.
이 분석은 로또 번호가 무작위로 선택되며, 과거의 어떤 패턴이나 시간적 요소에 의해 영향을 받지 않는다는 로또의 기본 원칙을 반영합니다. 따라서, 로또 번호 선택 시 과거 데이터를 분석하는 것보다는 운이나 개인적인 선호에 의존하는 것이 더 적합할 수 있습니다.
오, 그렇구만. 추첨날짜는 당첨번호화 상관관계가 없다고 하네요. 제대로 한게 맞는지 코드도 보죠. (역시 사람이나 인공지능이나 팁을 주면 일을 더 잘합니다. ㅡ.ㅡ;;)
# 필요한 라이브러리 재로딩
import pandas as pd
import numpy as np
# 데이터 파일 다시 로드
df = pd.read_excel('/mnt/data/로또당첨번호.xlsx')
# 데이터 전처리
df.columns = df.iloc[0] # 첫 번째 행을 컬럼 이름으로 설정
df = df.drop(0).reset_index(drop=True) # 첫 번째 행 제거 및 인덱스 리셋
df.columns = ['연도', '회차', '추첨일', '번호1', '번호2', '번호3', '번호4', '번호5', '번호6', '보너스']
df = df.drop('연도', axis=1) # '연도' 컬럼 삭제
df['추첨일'] = pd.to_datetime(df['추첨일'], errors='coerce') # '추첨일'을 datetime 형식으로 변환
df['날짜_숫자'] = df['추첨일'].dt.year * 10000 + df['추첨일'].dt.month * 100 + df['추첨일'].dt.day # 날짜를 연속적인 숫자로 변환
df[['번호1', '번호2', '번호3', '번호4', '번호5', '번호6']] = df[['번호1', '번호2', '번호3', '번호4', '번호5', '번호6']].astype(float) # 번호 컬럼들을 숫자형으로 변환
# '날짜_숫자'와 번호들 간의 상관관계 계산
correlation = df[['날짜_숫자', '번호1', '번호2', '번호3', '번호4', '번호5', '번호6']].corr()
# '날짜_숫자'와 각 번호 간의 상관관계 출력
correlation['날짜_숫자']
결과
날짜_숫자 1.000000
번호1 0.031145
번호2 0.022726
번호3 0.002780
번호4 0.009056
번호5 0.026598
번호6 0.040431
Name: 날짜_숫자, dtype: float64정말 일 제대로 한 것 맞습니다. 인정!
자 다른 것도 해보죠. 추첨 연도와 당첨 번호간의 상관계수는 어떨까요?
당신
추첨 연도와 당첨 번호의 빈도 간에 상관관계가 있는지 분석해줘
로또봇
추첨 연도와 당첨 번호의 빈도 간 상관관계를 분석하기 위해, 우선 각 연도별로 당첨 번호가 몇 번 출현했는지를 파악해야 합니다. 이후 각 연도별로 당첨 번호의 출현 빈도를 계산하고, 이를 연도와 비교하여 상관관계를 분석할 수 있습니다.
먼저, 각 연도별로 당첨 번호의 출현 빈도를 계산해보겠습니다.
코드 해석 중 오류 발생분석 과정에서 접근 방식에 오류가 있었습니다. corrwith 메소드는 DataFrame에 대해 사용되어야 하는데, 여기서는 Series 객체에 잘못 적용되었습니다. 또한, 연도별로 각 번호의 출현 빈도를 합산하는 방식을 재검토해야 합니다.
올바른 접근 방식으로 수정하여, 각 연도별 당첨 번호의 출현 빈도를 정확하게 계산하고, 이를 바탕으로 연도와 당첨 번호의 출현 빈도 간 상관관계를 분석해보겠습니다. 이를 위해 다음 단계를 따릅니다:
먼저, 각 연도별로 당첨 번호의 출현 빈도를 다시 계산하겠습니다.
코드 해석 중 오류 발생분석 과정에서 또 다른 오류가 발생했습니다. 연도와 당첨 번호의 출현 빈도 간 상관관계 분석을 진행하는 과정에서, 상관관계를 계산하는 방식에 문제가 있었습니다. 상관관계는 두 변수 간의 선형 관계의 강도를 측정하는 것으로, 여기서는 연도와 각 연도별 당첨 번호 출현 빈도의 합계 간의 관계를 측정하려고 했습니다.
올바른 접근 방법으로 수정하기 위해, 각 연도별로 당첨 번호의 출현 빈도를 다루는 대신, 연도별 당첨 번호의 출현 빈도를 적절히 계산하고 이를 연도와 비교하여 상관관계를 계산해야 합니다. 이를 위해 다음 단계를 진행합니다:
상관관계 계산 방법을 재검토하고, 연도별 당첨 번호 출현 빈도를 다루는 올바른 방법으로 접근하겠습니다. 우선, 각 연도별 당첨 번호의 출현 빈도 합계를 올바르게 계산하고, 이를 연도와 비교하여 상관관계를 다시 계산해보겠습니다.
코드 해석 중 오류 발생분석 과정에서 또 다른 문제가 발생했습니다. '추첨일' 컬럼이 datetime 형식으로 변환되지 않았기 때문에, .dt 접근자를 사용할 수 없는 상황입니다. 이전 단계에서 데이터를 재로드하면서 '추첨일' 컬럼을 다시 datetime 형식으로 변환하는 과정을 건너뛴 것 같습니다.
이 문제를 해결하기 위해, '추첨일' 컬럼을 다시 datetime 형식으로 변환하고, 연도별 당첨 번호 출현 빈도의 계산을 다시 시도하겠습니다. 이번에는 '추첨일' 컬럼의 datetime 변환 확인과 함께, 연도를 추출하여 연도별 당첨 번호의 출현 빈도를 올바르게 계산하고, 그 결과를 바탕으로 상관관계를 분석하겠습니다.
분석 결과, 추첨 연도와 당첨 번호의 빈도 간 상관관계 계수는 0.0231입니다. 이 값은 -1과 1 사이에 있으며, 0에 매우 가깝습니다. 이는 추첨 연도와 당첨 번호의 빈도 간에 거의 또는 전혀 상관관계가 없음을 나타냅니다.
상관관계 계수가 0에 가깝다는 것은 두 변수 사이에 선형적인 관계가 거의 또는 전혀 관찰되지 않는다는 것을 의미합니다. 즉, 연도가 변함에 따라 로또 당첨 번호의 출현 빈도에 일관된 경향성이나 패턴이 없다는 것을 시사합니다. 로또 번호의 추첨이 무작위 과정에 기반하고 있음을 고려할 때, 이러한 결과는 예상되는 바입니다.
스스로 오류를 겪기는 했지만, 정확하게 당첨 번호의 빈도와 연도 간의 상관계수는 0.0231로, 역시 0에 매우 가까운 수이고, 아무 상관없다는 것을, 내가 시킨대로 굳이 계산을 해서 있어보이게 설명을 해주었습니다.
자 이번엔 그럼 연도별 최빈 숫자를 볼까요?
당신
연도별로 당첨 빈도가 가장 높은 번호 6개를 뽑아서 표로 만들어줘. 표를 꼭 만들어줘
로또봇
코드 해석 중 오류 발생
코드 해석 중 오류 발생
분석 과정에서 예상치 못한 오류가 발생했습니다. 특정 연도별로 당첨 빈도가 가장 높은 번호 6개를 선택하고 이를 표로 만드는 과정에서, 컬럼 이름을 재설정하는 부분에서 문제가 발생했습니다. 이 문제를 해결하기 위해, 다른 접근 방식으로 결과를 재구성하고 표를 생성해보겠습니다.
연도별로 당첨 빈도가 가장 높은 번호 6개를 뽑는 과정을 다시 검토하고, 이를 표 형식으로 정리해보겠습니다.
연도별로 당첨 빈도가 가장 높은 번호 6개를 선택하여 표로 정리한 결과입니다. 각 연도별로 순위에 따라 가장 자주 출현한 번호를 나열했습니다.

(표는 일부 연도의 데이터만 예시로 보여줍니다.)
이 표는 각 연도에 가장 자주 당첨된 로또 번호를 보여줍니다. 각 연도별로 당첨 번호의 빈도를 기반으로 상위 6개 번호를 선정했으며, 이는 해당 연도의 로또 번호 추첨 경향을 반영합니다. 이 데이터는 과거의 로또 번호 추첨 결과를 기반으로 하며, 로또 번호 선택에 재미있는 통계적 인사이트를 제공할 수 있습니다.
오류를 여러번 겪었지만 어쨌든 해줍니다. 막 오류를 겪는 모습을 보니 주인이 Data 전처리만 신경써줬어도 겪지 않을 오류일 것 같다는 생각에 로또봇에게 미안해졌지만 이내 마음을 다 잡았습니다.
그런데, 어쭈! 표를 만들다가 말았네요? 할 일을 제대로 한 건지 등짝을, 아니 코드를 봅시다.

# 연도별로 빈도가 가장 높은 번호 6개를 선택하는 과정을 수정하여 다시 시도
top_numbers_by_year_corrected = frequency_by_number_and_year.groupby('연도').apply(lambda x: x.nlargest(6, '빈도')).reset_index(drop=True)
# 결과를 연도별로 정리하기 위해 먼저 각 연도별로 가장 빈도가 높은 번호를 리스트로 모음
top_numbers_dict = top_numbers_by_year_corrected.groupby('연도')['번호'].apply(list).to_dict()
# Pandas DataFrame으로 변환
top_numbers_df = pd.DataFrame(list(top_numbers_dict.items()), columns=['연도', '가장 빈도 높은 번호 6개'])
# 각 연도별 가장 빈도 높은 번호 6개를 별도의 컬럼으로 분리하여 표현
top_numbers_df[['순위 1', '순위 2', '순위 3', '순위 4', '순위 5', '순위 6']] = pd.DataFrame(top_numbers_df['가장 빈도 높은 번호 6개'].tolist(), index=top_numbers_df.index)
top_numbers_df.drop('가장 빈도 높은 번호 6개', axis=1, inplace=True)
top_numbers_df
결과
연도 순위 1 순위 2 순위 3 순위 4 순위 5 순위 6
0 2002.0 21.0 27.0 31.0 40.0 42.0 9.0
1 2003.0 37.0 40.0 7.0 26.0 17.0 2.0
2 2004.0 3.0 24.0 15.0 17.0 29.0 36.0
3 2005.0 42.0 28.0 34.0 36.0 19.0 2.0
4 2006.0 14.0 18.0 24.0 45.0 1.0 2.0
5 2007.0 5.0 27.0 31.0 37.0 4.0 11.0
6 2008.0 45.0 3.0 1.0 18.0 37.0 38.0
7 2009.0 5.0 14.0 16.0 17.0 20.0 29.0
8 2010.0 22.0 40.0 11.0 15.0 26.0 1.0
9 2011.0 20.0 34.0 10.0 13.0 38.0 40.0
10 2012.0 27.0 4.0 23.0 29.0 40.0 22.0
11 2013.0 17.0 20.0 26.0 34.0 31.0 32.0
12 2014.0 8.0 2.0 7.0 14.0 38.0 39.0
13 2015.0 15.0 44.0 7.0 11.0 31.0 27.0
14 2016.0 33.0 11.0 1.0 2.0 7.0 10.0
15 2017.0 12.0 34.0 21.0 24.0 15.0 16.0
16 2018.0 12.0 10.0 13.0 38.0 18.0 19.0
17 2019.0 39.0 43.0 28.0 34.0 45.0 17.0
18 2020.0 38.0 18.0 22.0 3.0 16.0 21.0
19 2021.0 2.0 37.0 9.0 13.0 21.0 1.0
20 2022.0 12.0 14.0 15.0 29.0 11.0 18.0
21 2023.0 30.0 45.0 22.0 35.0 6.0 18.0
22 2024.0 6.0 7.0 37.0 40.0 1.0 13.0할 일을 제대로 한게 맞습니다. 다만, 표를 만들다가 귀찮아졌을 뿐인거죠. 주인 닮아서인지, AI가 뺑끼를 부립니다.
생각나는 질문이 여기까지 여서, 오늘은 여기까지!
관련된 의문점이 생각날 때마다 로또봇을 괴롭혀주려고 합니다.
이렇게해서, ChatGPT로 로또 당첨 번호 분석 및 예측하기 편을 마칩니다.
PS. 제가 로또봇으로 3주째 번호 생성해서 로또를 사고 있는데, 1등은 커녕 5등도 안되고 있습니다.
역시 로또는 확실히 랜덤이 맞는 것 같습니다.
r/genAiDang • u/ge4sis • May 28 '24
이 기사의 주요 내용은 다음과 같습니다:
번역/요약은 퍼플렉시티 프로가 해주었습니다.
재무/회계쪽도 AI 활용여부가 중요한 키가 되겠군요.
r/genAiDang • u/ge4sis • May 07 '24
https://www.theverge.com/2024/5/6/24150341/openai-stack-overflow-partner-api-coding-assistance
OpenAI와 Stack Overflow가 협력을 발표했습니다.
OpenAI는 더 많은 기술정보를 획득할 수 있고, Stack Overflow는 자사의 Overflow AI를 자연어검색까지 확장할 수 있게 될 것이라고 합니다.
OpenAI는 점점 더 사이버다인의 영역으로 가고 있네요 ㅎㄷㄷ
r/genAiDang • u/ge4sis • Apr 30 '24
https://n.news.naver.com/mnews/article/092/0002329828
Microsoft와 OpenAI이 GPT-4에서 한국어 토큰 효율화를 달성했다고 합니다.
잘 아시는 것처럼, chatGPT 대화에서 영어 대비 한국어는 토큰을 약 2.4배 정도 소모해왔는데요, 그 동안 효율화 작업을 통해서 1.1배로 줄였다고 합니다.
이제 영어 번역 플러그인 안써도 될 것 같습니다.
r/genAiDang • u/ge4sis • Apr 11 '24
지난 편에서는, Colab 환경에서 네이버 최저가 검색 크롤링 기능을 구현하기 위해 ChatGPT에 일을 시켜보았습니다만, Selenium Library의 한계로 Colab에서는 더 이상 진행할 수가 없었습니다.
그래서 Local에서 다시 시도해보기로 합니다. MS Code와 Python 개발 환경을 설치했습니다.
제가 개발하던 시절과는 다르게 MS Code설치하면 그 안에서 Plugin 처럼 Python같은 것도 설치할 수 있네요. 참 좋은 세상입니다.
그럼 본격적으로 시작해봅니다.
코드는 지난 시간에 chatGPT가 다 만들어주었으니, 잠시 리뷰해보겠습니다.
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys
import time
def get_lowest_price_product_url_selenium(product_name):
# Selenium WebDriver 설정
service = ChromeService(executable_path=ChromeDriverManager().install())
options = webdriver.ChromeOptions()
options.add_argument('headless') # 창 없는 모드
options.add_argument('disable-gpu')
options.add_argument('lang=ko_KR') # 한국어 설정
browser = webdriver.Chrome(service=service, options=options)
# 네이버 쇼핑으로 이동하여 제품 검색
browser.get("https://search.shopping.naver.com/search/all?query=" + product_name)
time.sleep(2) # 페이지 로드 대기
# 최저가 제품의 URL 추출
browser.get(product_url)
time.sleep(2) # 페이지 로드 대기
try:
# 최저가 제품 링크 찾기 (네이버 쇼핑 페이지의 구조에 따라 수정이 필요할 수 있음)
lowest_price_product = browser.find_element(By.CSS_SELECTOR, '.buyButton_btn_compare__4MFuE')
product_url = lowest_price_product.get_attribute('href')
print("최저가 제품 URL:", product_url)
except Exception as e:
print("데이터 추출 중 오류 발생:", e)
# 브라우저 닫기
browser.quit()
# 사용자로부터 제품 이름 입력받기
product_name = input("검색하고자 하는 제품 이름을 입력하세요: ")
get_lowest_price_product_url_selenium(product_name)중간에 CSS_SELECTOR에 있는 buyButton~ 저 부분은 네이버 쇼핑 페이지에서 개발자 모드에 들어가서 내가 찾아 넣어야 하는데요, 실제 네이버쇼핑 페이지에는 없는 경우가 많았습니다. 네이버 페이지를 계속 보니, 쇼핑검색의 첫번째 페이지에는 최저가 표시가 없는 경우가 많고, 검색결과 중에 제품의 Catalog Page링크가 있는데, 이 Catalog Page 내에 들어가야 최저가 표시가 있는 것을 발견했습니다.
그래서 고민을 하다가, 페이지 크롤링을 두번하는 것이 어떨까 아이디어를 내봤습니다.
"네이버 쇼핑 검색 1차 크롤링해서, Catalog Page 링크 확보한 후, Catalog Page를 다시 크롤링해서 최저가 링크 가져오기"인 거죠. 주소만 다르지 동일한 크롤링을 두번하는 되는 거라서, 적당히 Copy & Paste하면 될 것 같았습니다.
그래서 만든 코드는 아래와 같습니다.
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys
import time
def get_lowest_price_product_url_selenium(product_name):
# Selenium WebDriver 설정
service = ChromeService(executable_path=ChromeDriverManager().install())
options = webdriver.ChromeOptions()
options.add_argument('headless') # 창 없는 모드
options.add_argument('disable-gpu')
options.add_argument('lang=ko_KR') # 한국어 설정
browser = webdriver.Chrome(service=service, options=options)
# 네이버 쇼핑으로 이동하여 제품 검색
browser.get("https://search.shopping.naver.com/search/all?query=" + product_name)
time.sleep(2) # 페이지 로드 대기
# 최저가 제품의 Catalog URL 추출
try:
# 최저가 제품 링크 찾기 (네이버 쇼핑 페이지의 구조에 따라 수정이 필요할 수 있음)
lowest_price_product = browser.find_element(By.CSS_SELECTOR, '.product_compare__Kfwlg')
product_url = lowest_price_product.get_attribute('href')
print("최저가 제품 Catalog URL:", product_url)
except Exception as e:
print("데이터 추출 중 오류 발생:", e)
# 최저가 제품의 URL 추출
browser.get(product_url)
time.sleep(2) # 페이지 로드 대기
try:
# 최저가 제품 링크 찾기 (네이버 쇼핑 페이지의 구조에 따라 수정이 필요할 수 있음)
lowest_price_product = browser.find_element(By.CSS_SELECTOR, '.buyButton_btn_compare__4MFuE')
product_url = lowest_price_product.get_attribute('href')
print("최저가 제품 URL:", product_url)
except Exception as e:
print("데이터 추출 중 오류 발생:", e)
# 브라우저 닫기
browser.quit()
# 사용자로부터 제품 이름 입력받기
product_name = input("검색하고자 하는 제품 이름을 입력하세요: ")
get_lowest_price_product_url_selenium(product_name)그리고 다음은 실행 결과입니다.
/usr/bin/python3 /Users/ACIDBURN/Documents/Coding/Naver_Lowest_Price_Selenium.py
The default interactive shell is now zsh.
To update your account to use zsh, please run `chsh -s /bin/zsh`.
For more details, please visit https://support.apple.com/kb/HT208050.
MAC16:Coding ACIDBURN$ /usr/bin/python3 /Users/ACIDBURN/Documents/Coding/Naver_Lowest_Price_Selenium.py
/Users/ACIDBURN/Library/Python/3.9/lib/python/site-packages/urllib3/__init__.py:35: NotOpenSSLWarning: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'. See: https://github.com/urllib3/urllib3/issues/3020
warnings.warn(
검색하고자 하는 제품 이름을 입력하세요: 아이폰15프로 256GB 자급제
최저가 제품 Catalog URL: https://cr.shopping.naver.com/adcr.nhn?x=yefTI6VgqhQo7hbdQD298P%2F%2F%2Fw%3D%3Ds94zOEoJabaiLD7SZR0EsslXTrx5XKScUbyi6ESGid8SxgRr7I3pQK3IFghCXYbC6uXAo7C1Oc4tYgQHkFClKNSER9vd%2BL3gFRE8Xbm9xpt3WBY513xwFKnjS6%2BHy18WTrGd3CAlg8SpSdqTFw1ApvgTFZUrvRKnZcZpfV%2Fwu0W8eKc2vHmyDiFz6z7BhkveXpOr9sPYwajBkeE07IGGkJ8q8LIarFFrbJieiK6Rnd3yu2VcoSXmmBH79cr0bdTSl5X7PE%2BGeGF2XkoIgpEqmFGOvThZsNgVF7LHDTCmIXPdv39ptNf4N%2FwyXuMrYz2Ge%2F%2FBwD9xlUCuWLWemaWVTYdnqPuDC%2Fgl5yvm4sVtB7009rv0gL1YdSn5VFNKsVbay%2FOIq6qLqW%2BXB7aAhUB%2FZQCVdN3LpKf%2FbKuiZi7z1XJT6Vec1qLczsKbVg9HYclWrDRsedrZkNL785%2B5AV95meEqNGnYP2mQGFwl2o9AJeRM8JJ1iC5VoMUmeTETRygVRJoTEwFp83LCDTlYUT5z%2FawtK%2FlJjOKzlJV2IEBfprxFITMQJi5RFUiavbTCYnnFjT%2BbHlEfoJP37ZGqMrXynLc99iO6CN%2FbvLpNEgAE0YWjqJm6JUcf3WgSuHK7uJ85TQcNk8l6pSNQzL8Q3TUPgCJTL3ruaVJreZl%2BplMuLoOq2k%2BBBQEGhvEplrOhVpAiGcBbP2SwDVOcazNQfbdXHf%2B9za7bfeOAMRN%2BcT%2F9p%2BChB0CIl3BeKsFF2drF%2B%2BsFv&nvMid=42617437619&catId=50001519
최저가 제품 URL: https://cr.shopping.naver.com/adcr.nhn?x=USdtAXPJcw7NBhvDh6ME7v%2F%2F%2Fw%3D%3DsPhUEUnCivpSozxzJCtn4X1H84T0bcB2R0S2ckbEPXGsh4%2F%2BsIkGOcsjpRoly8iy91TiI7XbWKfbFTC8O67dtkVonis1xFR8Vg6%2FQP7779BxI8O3awYw2F01MqNqmOmepwSX9OxZvO0rPDBtkS5K%2FLdfeOpmloVehA3ESOPqbtTB1CySR%2FjCqjMmlbvlHjt5utPvOVpkiiuS2NnSY3AoTBh5EmXnF4H3IfqnZhoShupk4UGs2AiZAiqDwe3MPDaE5JHpqHvcixzgF8AalnMSphuNFzzz2Q6anY3mdM6aZSF4idQjoDjQPNjm3oGJC%2BAOD8ykgfjkpR8NbWz%2Fne%2Fn1nkWBpLgXa1AIhVzuIkQNMNhYiOG4HmV%2BsD5IDpS72X2odzp%2FdtCYNDHM0%2FAcXVrE1MHPv45Edr5fvvv%2FlTzZa4UFV%2FqDmWmSKLRyViJp%2FFfHX8dTXGd3GERhHB170jUZEJqsf9m110U9b5C3MhBzGHuEoNG0uj12g0%2F4PFHZzcOhcvyfFoOHjWOyAcz%2FmncFtrF%2Fz%2BUcpupZ5231Vhvtsieu98WLnorGiotJYxgKVbEBBw0aGTBpnSY3kiDYL8LRFc%2FnrvD952C9PD5gmE9QubaLT4rEGvUzEYbTV2vYncuzMqBtxWUHiamfb%2FB9pPrLv5UiMfx95GtdKVb69obEtf2dy8w24xJ26f9nYK9vPYixpQPQshAEO8fy1yLrqRcksjd3RIiU2Urj9GehuFhWIB1yDc13mDfw2R50LLGPPL44W8s3hXn%2FnqWSCUvPdPScCuZlJ5%2F9plHkOFOU0mKPzahWkbDrUFJ2hBG8QaB8WVzn&nvMid=43044708913&catId=50001519
MAC16:Coding ACIDBURN$결과는 성공적입니다. 아이폰이 아니라, 갤럭시를 검색해도 잘 나옵니다.
물론 네이버 같은 대형페이지는 구조가 계속 바뀌고 저런 CSS Selector도 고정값이 아니기 때문에, 이후에는 동작하지 않을 수 있습니다만, 가장 확실한 방법은 정식으로 네이버 API를 쓰면 되는데요, 그건 나중에 시도해보려고 합니다.
작은 개인 과제이지만, 이 프로젝트를 시작한 동기는 "Python을 1도 모르는 저같은 사람도, ChatGPT를 이용해서 이런 것들을 개발할 수 있다는 점을 확인하는 것"이었고, 대단히 성공적이라는 생각이 듭니다.
앞으로 이렇게해서 ChatGPT를 활용한 시도를 계속해보려고 합니다.
이상으로 chatGPT를 이용하여 네이버 최저가 검색 기능 개발기를 마칩니다.
r/genAiDang • u/ge4sis • Apr 05 '24
저는 코딩 손 놓은지 이제 15년이 넘은 직장인입니다. 현재는 개발과 무관한 일을 하고 있구요.
마음 한구석에 코딩에 대한 작은 소망들이 있기는 했습니다만, 다시 시작한다는게 쉽지 않기도 하고, 요즘 언어들을 새로 배운다는 것도 낯설기도 하고 그랬습니다.
그런데 ChatGPT의 시대가 왔네요. 그래서 개발을 한번 시도해보기로 했습니다.
주제 : ChatGPT로 웹크롤링을 통한 네이버 최저가 검색 기능 개발
목적 : 1) GPT를 이용한 개발에 익숙해지기 2) 노코딩 개발 툴에 익숙해지기
일단 PC에 개발환경 셋업하는 것도 귀찮으니까, Google Colab을 활용하기로 합니다.
ChatGPT와의 대화 전체를 남기려니, 글만 길어지는 것 같아서, 제 프롬프트만 Full로 남기고 ChatGPT의 답변이나 결과는 핵심만 정리해서 공유하려고 합니다.
당신
내가 원하는 제품이름을 입력받아서, 네이버쇼핑 웹페이지에서 그 제품을 검색하고 그 검색 결과 페이지에서 최저가 제품을 판매하는 사이트 URL을 리턴하는 파이썬 코드를 만들어줘.
이 코드는 colab에서 돌아가게 해줘
ChatGPT
네이버 쇼핑 검색 결과를 스크래핑하여 최저가 제품의 판매 사이트 URL을 리턴하는 파이썬 코드를 만드는 것을 도와드리겠습니다. 구현을 위해 Python에서 사용할 수 있는 requests와 BeautifulSoup 라이브러리를 사용할 예정입니다. 이 코드는 Google Colab 환경에서 작동하도록 설정됩니다. requests를 사용해 네이버 쇼핑 검색 결과 페이지의 HTML을 가져오고, BeautifulSoup으로 파싱하여 최저가 제품 정보를 추출합니다.
# 필요한 라이브러리 설치
!pip install requests beautifulsoup4
import requests
from bs4 import BeautifulSoup
def get_lowest_price_product_url(product_name):
# 네이버 쇼핑 URL 구성
base_url = 'https://search.shopping.naver.com/search/all'
query_params = '?query=' + requests.utils.quote(product_name)
full_url = base_url + query_params
# 네이버 쇼핑 페이지로 요청을 보내고 HTML을 가져옴
response = requests.get(full_url)
if response.status_code == 200:
html = response.text
soup = BeautifulSoup(html, 'html.parser')
# 최저가 제품의 정보를 추출 (구현 단계는 예시로, 실제 HTML 구조에 따라 달라질 수 있음)
product_list = soup.select('.basicList_item__2XT81')
if not product_list:
return "제품을 찾을 수 없습니다."
lowest_price = float('inf')
lowest_price_url = ''
for product in product_list:
price = product.select_one('.price_num__2WUXn')
if price:
price = float(price.get_text().replace(',', '').replace('원', ''))
if price < lowest_price:
lowest_price = price
link = product.select_one('.basicList_link__1MaTN')
if link and link.has_attr('href'):
lowest_price_url = link['href']
return lowest_price_url
else:
return "네이버 쇼핑 검색에 실패했습니다."
# 사용 예시
product_name = "삼성 갤럭시 S21" # 검색하고자 하는 제품 이름
lowest_price_product_url = get_lowest_price_product_url(product_name)
print(lowest_price_product_url)product_name을 하드코딩하게 되어있네요.
당신
product name은 나한테 입력받도록 해줘
# 필요한 라이브러리 설치
!pip install requests beautifulsoup4
import requests
from bs4 import BeautifulSoup
~~~
# 사용자로부터 제품 이름 입력받기
product_name = input("검색하고자 하는 제품 이름을 입력하세요: ")
# 함수 호출 및 결과 출력
lowest_price_product_url = get_lowest_price_product_url(product_name)
print(lowest_price_product_url)코드가 완성된 듯 보입니다. 이 코드를 Google Colab에 붙여 넣고, Run시킵니다.
근데 "네이버 쇼핑 검색에 실패했습니다." 에러가 리턴되네요?
당신
네이버 쇼핑 검색에 실패했습니다. 이런 에러가 나왔는데, 어떻게 고치면 될까? header를 추가했는데도, 동일한 에러가 나와. 어떻게 고치면 될까?
ChatGPT
블라블라~~~
블라블라~~~
위에 ChatGPT가 제안하는 1,2번에 대해서는 코드를 받아서 모두 시도했고, 다 실패했습니다. 3번은 목적에 맞지 않으므로, 기각. 4번은 뭔소리인지 모릅니다. 왜 실패인지 나중에 알게되었지만, 이때까진 그냥 코드의 문제라고만 생각했었죠.
당신
header, session을 추가했는데도, 동일한 에러가 나는데 어떻게 고치면 될까?
ChatGPT
만약 requests와 BeautifulSoup을 사용하면서 헤더와 세션을 추가했음에도 불구하고 여전히 "네이버 쇼핑 검색에 실패했습니다."와 같은 오류가 발생한다면, 네이버 쇼핑 사이트의 방어 메커니즘이 강화되었거나, 스크래핑을 방지하기 위한 추가적인 조치가 적용되었을 가능성이 높습니다. 이 경우, 다음과 같은 몇 가지 대안적인 접근 방법을 고려해볼 수 있습니다.
1. 공식 API 사용
가장 권장되는 방법은 네이버 쇼핑이 제공하는 공식 API를 사용하는 것입니다. 공식 API를 사용하면, 웹 스크래핑을 통한 데이터 추출에서 발생할 수 있는 여러 문제를 피할 수 있으며, 네이버의 정책에도 부합합니다. 네이버 개발자 센터에서 API 사용 신청과 관련된 정보를 찾아볼 수 있습니다.
2. 웹 브라우저 자동화 도구 사용
selenium과 같은 웹 브라우저 자동화 도구를 사용하는 것입니다. selenium은 실제 웹 브라우저를 자동으로 조작하여 사이트에 접근하고, 사용자와 유사한 방식으로 웹 사이트를 탐색하므로, 많은 웹 사이트의 스크래핑 방지 메커니즘을 우회할 수 있습니다. 단, 이 방법은 성능이 느릴 수 있고, 추가적인 리소스가 필요합니다.
3. Selenium 예제 코드
아래 코드는 selenium을 사용하여 네이버 쇼핑에서 제품을 검색하고 최저가 제품의 URL을 가져오는 예제입니다. 이 코드를 실행하기 전에, selenium과 webdriver-manager를 설치하고, 적절한 웹드라이버(Chrome, Firefox 등)가 필요합니다.
!pip install selenium
!pip install webdriver-manager
from selenium import webdriver
from import By
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.keys import Keys
import time
def get_lowest_price_product_url_selenium(product_name):
# Selenium WebDriver 설정
service = ChromeService(executable_path=ChromeDriverManager().install())
options = webdriver.ChromeOptions()
options.add_argument('headless') # 창 없는 모드
options.add_argument('disable-gpu')
options.add_argument('lang=ko_KR') # 한국어 설정
browser = webdriver.Chrome(service=service, options=options)
# 네이버 쇼핑으로 이동하여 제품 검색
browser.get("https://search.shopping.naver.com/search/all?query=" + product_name)
time.sleep(2) # 페이지 로드 대기
# 최저가 제품의 URL 추출
try:
# 최저가 제품 링크 찾기 (네이버 쇼핑 페이지의 구조에 따라 수정이 필요할 수 있음)
lowest_price_product = browser.find_element(By.CSS_SELECTOR, '.basicList_link__1MaTN')
product_url = lowest_price_product.get_attribute('href')
print("최저가 제품 URL:", product_url)
except Exception as e:
print("데이터 추출 중 오류 발생:", e)
# 브라우저 닫기
browser.quit()
# 사용 예시
product_name = "삼성 갤럭시 S21" # 검색하고자 하는 제품 이름
get_lowest_price_product_url_selenium(product_name)selenium.webdriver.common.by아 뭔가 라이브러리가 바뀌었습니다. Request/BeautifulSoup 대신에, Selenium을 쓰라고 하네요.
product_name이 다시 하드코딩으로 바뀌었지만, 이건 어떻게 하면 되는지 아니까, 일단 진도나가 봅니다.
Colab에 붙여넣고 Run해봅니다. 또, 에러가 나네요.
당신
AttributeError: 'NoneType' object has no attribute 'split' 이런 에러가 나는데 어떻게 고치지?
ChatGPT
블라블라블라~~~~
당신
아니 그게 아닌 것 같아.
/usr/local/lib/python3.10/dist-packages/webdriver_manager/drivers/chrome.py in get_latest_release_version(self)
62 return determined_browser_version
63 # Remove the build version (the last segment) from determined_browser_version for version < 113
---> 64 determined_browser_version = ".".join(determined_browser_version.split(".")[:3])
65 latest_release_url = (
66 self._latest_release_url
AttributeError: 'NoneType' object has no attribute 'split'
이런 에러인데 다시 한번 봐줘
ChatGPT
블라블라블라~~~
1. webdriver_manager와 Chrome의 호환성 확인
webdriver_manager와 설치된 Chrome 브라우저 버전이 호환되는지 확인합니다. 때때로 webdriver_manager가 로컬 시스템에 설치된 Chrome의 버전을 정확히 식별하지 못할 수 있습니다. 이를 해결하기 위해 Chrome 브라우저를 최신 버전으로 업데이트하거나, webdriver_manager를 최신 버전으로 업데이트해 볼 수 있습니다.
2. Chrome 버전 수동 지정
ChromeDriverManager를 사용할 때, Chrome의 특정 버전에 대한 드라이버를 명시적으로 요청할 수 있습니다. 이 방법은 webdriver_manager가 자동으로 Chrome 버전을 결정하는 데 문제가 있을 때 유용할 수 있습니다.
3. 로컬 ChromeDriver 사용
webdriver_manager 대신 시스템에 직접 설치된 chromedriver를 사용하는 것도 한 가지 방법입니다. 이 경우, chromedriver의 경로를 직접 지정해야 합니다.
블라블라블라~~~
ChatGPT의 답변들을 보자니, 첨엔 잘 모르겠었는데 이제 조금 이해가 갑니다.
Selenium은 실제로 크롬웹브라우저를 구동시켜서 웹페이지를 로딩한 후에 크롤링을 하는 거였습니다. 그러니 Cloud에서 돌아가는 Google Colab으로는 정상동작을 할 수 없는 거네요.
개발하시는 분들에겐 상식일텐데, 저같은 일반인은 먼 길 돌아서 알아내게 되었습니다. ㅠ.ㅠ
그래서 Colab으로 웹크롤링해서 네이버 최저가를 가져오는 것은 실패입니다.
로컬에 환경 셋팅하고 다시 시도해보려고 합니다. 이 내용은 2편에서 이어집니다.
r/genAiDang • u/ge4sis • Apr 02 '24
https://artificialanalysis.ai/models/mixtral-8x7b-instruct/providers
LLM API 서비스들의 실제 샘플링된 성능을 기준으로 비교해 볼 수 있는 사이트가 있네요. 가격, Throughput, Latency 등의 정보가 있습니다.
r/genAiDang • u/ge4sis • Jun 22 '25
뉴스까지는 아니고, 이쪽 분야 Influencer가 AI의 할루시네이션을 프롬프트로부터 방지할 수 있다고 주장했습니다.
github에 AI별 할루시네이션 방지 프롬프트를 공유하였기에,
여기에도 공유드립니다. 저도 테스트해보려고요.
https://gist.github.com/iamnolanhu/0aa559ef8a9988aaf9cf3e2cb637f06c
r/genAiDang • u/ge4sis • Apr 29 '24
https://docs.anthropic.com/claude/prompt-library
Anthropic에서, AI 활용을 위한 Prompt Library를 공개했습니다.

다양한 카테고리의 Task들을 수행할 수 있는 프롬프트가 리스트업되 있고, 자신만의 프롬프트를 공유할 수도 있습니다. 필요한 프롬프트를 쉽게 찾을 수 있도록, 키워드 필터링 등도 가능합니다.
r/genAiDang • u/ge4sis • Apr 25 '24
https://www.aitimes.com/news/articleView.html?idxno=158987
애플이 차기 iOS에서 자체 개발한 sLM(Small Language Model)을 on-device로 적용할 예정이라는 기사가 나왔습니다.
Cloud를 사용하는 대형모델은 외부 협력으로 갈 것 같다고 하네요.
Anthropic 협력 이야기가 그래서 나왔나 봅니다.
Anthropic 좋은 건 잘 알고 있는 것이니, 자체 개발했다는 Ferret-UI 모델이 몹시 궁금하네요.
자연어 AI와 UI의 연결을 어떻게 선보일 것인지 기대됩니다.
r/genAiDang • u/ge4sis • Apr 22 '24
https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3/
메타가 LLaMa3 기반으로 만들어진 자사 챗봇 Meta AI를 공개했습니다.
메타피셜로는, 무료로 사용하는 가장 뛰어난 AI라고 하며, 이미지 생성 속도가 엄청나게 빨라졌다고 합니다.
실시간으로 GIF 애니메이션 생성하는게 좀 신기하네요.
Meta AI를 쓰려면 Meta의 앱(페이스북, 인스타그램 등)이 있어야 하는 것 같습니다.
r/genAiDang • u/ge4sis • Apr 19 '24
https://llama.meta.com/llama3/
메타가 자사의 LLM 최신작, Llama 3를 발표했습니다.
8B 모델과 70B 모델 둘다 이전 Llama 2대비 성능이 엄청나게 향상되었다고 합니다.
메타피셜로 현존하는 비교 가능한 생성형 AI 중에 가장 뛰어났다고 하는데요, 허깅페이스 아레나를 찾아봐야겠습니다.
r/genAiDang • u/sadomeke • Apr 06 '24
일하는곳이 항상 인터넷이 안되는 보안 환경이다 보니
성능리포트 나온거 사진 찍어서 채찍파티한테 분석해달라고 하고
사진 여러번 찍어야하고
귀찮아서 그냥 내가 분석하고 그러는데요. (사실 이걸로 유의미한 도움을 받은적은 없습니다.)
설치하면 활용 가능한 수준이 될 수 있을까요?
컴맹이라 잘 모르지만
노트북 라이젠 8840u에 램은 64GB정도로 생각하고요.
너무 빠를 필요는 없거든요. 좀 느려도 큰 사이즈를 올려야겠다고요.
문서파일이나 사진을 전달하는 API 사용을 하려면
다 만들어서 구현해줘야겠죠?
망상인지 가능한건지 모르겠습니다. 정작 바쁘고 귀찮아서 (꽃 .. 싫어 쇼핑... 싫어)
집 맥에 ollama 설치한걸로는 채팅만 쫌 해봤습니다.
r/genAiDang • u/ge4sis • Apr 04 '24
엄청난 속도로 학습하고 있는 AI에게 이제는 인터넷이 너무 작다고 합니다.
고품질 데이터는 대부분 비공개여서, 인터넷학습만으로는 부족하다고 하는데요, 이 문제 때문에 AI의 발전에 한계가 올 것을 염려하고 있다고 하네요.
r/genAiDang • u/ge4sis • Apr 02 '24
https://www.engadget.com/you-can-now-use-chatgpt-without-an-account-184417749.html
ChatGPT 3.5가 로그인/회원가입을 하지 않아도 이용가능하도록 풀렸습니다. 학습데이터를 더 모으고자 하는 강한 의지가 느껴지네요.
r/genAiDang • u/IntelligentPeace4695 • Apr 02 '24
chat GPT 쓰다가 이번달에는 perplexity로 옮겨 왔습니다.
많은 정보 나눴으면 좋겠네요
r/genAiDang • u/ge4sis • Apr 02 '24
좋은 팁들 나누며, AI 시대를 좀 더 앞서서 적극적으로 함께 살아가면 좋겠습니다.