본문 바로가기

분류 전체보기

 (317)
[부하테스트] Locust란 무엇인가? Locust는 파이썬으로 작성된 오픈 소스 부하 테스트 도구로, 웹 응용 프로그램 및 서비스를 테스트하는 데 사용됩니다. Locust는 사용자 시나리오를 정의하고 각 시나리오에 대한 부하를 생성하는 데 도움이 되며, 이를 통해 시스템이 특정 부하에 대해 어떻게 동작하는지 확인할 수 있습니다.아래는 Locust를 사용하여 간단한 부하 테스트를 수행하는 과정입니다:Locust 설치: Locust를 설치하려면 터미널 또는 명령 프롬프트에서 다음 명령을 실행합니다pip install locustLocust 스크립트 작성: Locust 스크립트는 테스트할 웹 애플리케이션의 동작을 정의합니다. 일반적으로 다음과 같은 형식을 가지게 됩니다:from locust import HttpUser, between, taskc..
[개념] Spring Framework와 Spring boot에 대해 알아보자! Spring Framework와 Spring Boot는 모두 Java 기반의 프레임워크로, 웹 애플리케이션 및 서비스를 개발하는 데 사용됩니다. 그러나 두 프레임워크 간에는 몇 가지 중요한 차이가 있습니다. 1. 초기 설정과 설정의 용이성: Spring Framework: 초기에는 XML 기반의 설정이 많이 사용되었습니다. Annotation 기반 설정이 도입되었지만 여전히 일부 설정은 XML을 사용할 수 있습니다. 프로젝트를 시작하기 위해 많은 설정이 필요할 수 있습니다. Spring Boot: 스프링 부트는 기본적인 설정을 자동으로 제공하는 "초기화 자동화"에 중점을 두고 있습니다. Convention over Configuration 원칙을 따르므로 개발자가 추가 설정을 하지 않아도 기본적인 설정이..
[Logging] Fluentd-bit과 Fluentd 비교 Fluentd와 Fluent Bit은 로그 처리를 위한 두 가지 오픈 소스 도구로, 각각의 특징과 장단점이 있습니다. 여기에는 Fluentd-bit과 Fluentd를 비교하는 몇 가지 중요한 측면이 포함되어 있습니다. Fluentd: 성숙도와 다양성: Fluentd는 높은 성숙도를 자랑하며, 다양한 플러그인을 지원하여 다양한 데이터 소스 및 출력 형식을 처리할 수 있습니다. 다양한 기능: Fluentd는 강력한 기능을 제공하며, 데이터의 변환, 필터링, 라우팅 등 다양한 로그 처리 작업을 수행할 수 있습니다. 구성 및 설정: Fluentd는 비교적 복잡한 설정을 가지고 있어 초기 학습 곡선이 조금 높을 수 있습니다. 그러나 유연성이 뛰어나고 복잡한 환경에 적합합니다. 리소스 사용량: Fluentd는 일반..
[글공유] 행동 데이터 분석 플로랑 뷔송의 『행동 데이터 분석』은 사용자 행동 데이터를 수집, 분석, 시각화하는 방법을 설명하는 책입니다. 이 책은 사용자 행동 데이터의 개념에서부터 데이터 수집, 분석, 시각화 방법, 그리고 실제 사례까지 다양한 내용을 다루고 있습니다. 이 책은 사용자 행동 데이터를 분석하여 사용자 경험을 개선하고, 마케팅 효과를 높이고, 비즈니스 전략을 수립하는 데 도움이 될 것입니다. 이 책은 다음과 같은 장점이 있습니다. 사용자 행동 데이터의 개념을 이해하기 쉽게 설명합니다. 데이터 수집, 분석, 시각화 방법을 자세하게 설명합니다. 다양한 실제 사례를 통해 사용자 행동 데이터를 분석하는 방법을 보여줍니다. 이 책은 사용자 행동 데이터를 분석하는 데 관심이 있는 모든 사람에게 도움이 될 것입니다. 특히, 마케팅..
[글공유] AWS 기반 데이터 과학을 읽고 AWS 기반 데이터 과학은 AWS에서 제공하는 AI와 ML 기능을 활용하여 데이터 과학 프로젝트를 구축하고 배포하는 방법을 다룬 실전 지침서입니다. 아마존 EC2, 아마존 EBS, 아마존 다이나모DB, AWS 람다, AWS IAM을 비롯한 다양한 AWS 서비스를 사용하여 데이터 수집 및 처리, 머신러닝, 보안을 다룹니다. 또한 AWS에서 데이터 과학 프로젝트의 비용을 절감하고 성능을 향상시키는 팁도 소개합니다. 이 책은 데이터 과학에 대한 기본 지식이 있는 독자라면 누구나 쉽게 이해하고 따라 할 수 있습니다. 또한 AWS를 처음 접하는 독자라도 책에 제공된 튜토리얼을 통해 AWS를 빠르게 익힐 수 있습니다. 이 책은 데이터 과학 프로젝트를 계획하고 실행하는 데 필요한 모든 정보를 제공합니다. 데이터 수집..
빅데이터 파일 형식 알아보기(Parquet, ORC, AVRO) 빅데이터를 처리하고 관리하는데 있어 가장 중요한 관점은 어떻게 비용 효율적으로 데이터를 저장하고 관리 할지에 대한 부분과 어떻게 하면 빠르게 많은 데이터를 처리할 수 있는지에 대한 영역으로 나눌 수 있을 것 입니다. 적은 비용으로 많은 데이터를 저장 할 수 있고 이어서 적은 컴퓨팅 파워로 빠르게 데이터를 처리할 수 있는 이 두가지 내용을 모두 만족하는 솔루션이 있으면 좋겠지만, 아쉽게도 두가지를 모두 최적으로 만족하는 방법은 없습니다. 그렇다면 저희가 기술을 선택할 때는 어떠한 관점으로 접근을 해야 할까요? 우리가 만들고자 하는 시스템과 주변 상황을 잘 이해할 필요가 있습니다. 즉, 우리 시스템의 요구사항에 맞게 어떠한 영역에 장점은 살리고 어떤 부분에서는 조금 손해를 보는 것이죠. 그렇게 저희에게 맞는..
[글공유] 개발자를 위한 머신러닝&딥러닝 요즘 들어 인공지능에 대한 인기가 더욱 높아져 가는 것 같습니다. 딥러닝과 인공지능은 이제 학문의 세상을 벗어나 상용화 또는 인간의 삶에 완전 녹아 들고 있는 것 같습니다. 개발의 속도 또한 어마어마 하죠. 역시나 SW의 트렌드는 빠르게 변화하는 것 같습니다. 그렇다면 개발자들이 머신러닝 또는 딥러닝을 이해하기 위해 어떠한 것이 필요할까요? 그래서 이 책을 살펴 보았습니다. 제목부터 개발자를 위한 느낌과 배려가 느껴지죠? 머신러닝과 인공지능은 쉬워보이지만, 막상시작하려면 무엇부터 시작해야 할지 곤란한 경우가 많습니다. 인공지능과 머신러닝에 관심이 있고 데이터에서 학습하는 모델을 빠르게 구축하고 싶다면 이 책을 보세요. 일반적인 인공지능 및 머신러닝 개념을 배우는 데 관심이 있고 이 분야의 문제를 해결하기..
[빅데이터] 데이터 품질 검증 알아보기(AWS Deequ & Glue Data Quality) 데이터 품질이란? 일반적인 문제 Raw Data를 항상 신뢰할 수는 없다. 데이터 소스마다 품질 수준이 상이 하다. 대부분 데이터 레이크 설계시에 수집 데이터의 통제 수준을 결정하지 않기 때문에 위 문제가 발생 가능 하다. 문제로 인해 발생 가능한 이슈 누락된 값으로 인해 프로덕션 시스템에서 널이 아닌 값을 필요로 하는 오류(NullPointerException)가 발생할 수 있습니다. 데이터 분포의 변화로 인해 머신 러닝 모델에서 예기치 않은 출력이 발생할 수 있습니다. 잘못된 데이터의 집계는 잘못된 비즈니스 의사 결정으로 이어질 수 있습니다. 위 문제를 해결하기 위해 데이터 처리 파이프라인의 단계 중 하나로, 필요한 품질 검사를 구현해야 한다. 구분 내용 공통 품질 검사 항목 특정 컬럼에 대한 값의 ..

티스토리툴바